2022 年 8 月我們在 TDengine 開發(fā)者大會上正式發(fā)布了 TDengine 3.0，TDengine 也由此升級成為了一款云原生時序數(shù)據(jù)庫（Time Series Database，TSDB）。為了客觀、準(zhǔn)確、有效地評估 TDengine 3.0 的性能指標(biāo)，我們決定使用?TSBS（Time Series Benchmark Suite）作為基準(zhǔn)性能測試平臺，針對 DevOps 場景的數(shù)據(jù)集對 TDengine 3.0 展開整體（包括寫入、查詢、存儲、資源消耗等）性能評估。

TSBS 是一個時序數(shù)據(jù)處理（數(shù)據(jù)庫）系統(tǒng)的性能基準(zhǔn)測試平臺，提供了 IoT、DevOps 兩個典型應(yīng)用場景，它由 Timescale 開源并負(fù)責(zé)維護(hù)。作為一個性能基準(zhǔn)測試平臺，TSBS 具有便捷、易用、擴(kuò)展靈活等特點，涵蓋了時序數(shù)據(jù)的生成、寫入（加載）、多種類別的典型查詢等功能，并能夠自動匯總最終結(jié)果。由于其開放開源的特點，得到了眾多數(shù)據(jù)庫廠商的支持，作為專業(yè)的產(chǎn)品性能基準(zhǔn)測試平臺被若干數(shù)據(jù)庫廠商廣泛使用。

以下的性能基準(zhǔn)報告均使用了 TSBS 作為基礎(chǔ) Benchmark 平臺，我們從時間跨度和發(fā)布廠商的知名度同時來看，就能發(fā)現(xiàn)，基礎(chǔ)測試平臺 TSBS 已經(jīng)具備了很高的認(rèn)可度：

2018 年 11 月
VictoriaMetrics 的創(chuàng)始人 Aliaksandr Valialkin 發(fā)布 《High-cardinality TSDB benchmarks: VictoriaMetrics vs TimescaleDB vs InfluxDB》，將 VictoriaMetrics 與 TimescaleDB、InfluxDB 進(jìn)行性能對比。

2018 年 11 月
文章《ClickHouse Crushing Time Series》中對比了 TimescaleDB, InfluxDB, ClickHouse 在時序數(shù)據(jù)場景下的性能。

2020 年 3 月
Cloudera 在網(wǎng)站博客中發(fā)布《Benchmarking Time Series workloads on Apache Kudu using TSBS》，在 DevOps場景 中對比了 Apache Kudu, InfluxDB, VictoriaMetrics, ClickHouse 等整體性能表現(xiàn)。

2020 年 3 月
Redis 發(fā)布了基于 TSBS 的性能報告《RedisTimeSeries Version 1.2 Benchmarks》。

2020 年 8 月
Timescale 在其官方博客發(fā)布了性能對比報告《TimescaleDB vs. InfluxDB: Purpose Built Differently for Time-Series Data》。

2021 年 8 月
QuestDB 發(fā)布了 QuestDB 與 TimescaleDB 的性能對比報告——《QuestDB vs. TimescaleDB》。

DevOps 場景是一個典型的時序數(shù)據(jù)應(yīng)用場景，TSBS DevOps 場景提供了 CPU 狀態(tài)的模擬數(shù)據(jù)，針對每個設(shè)備（CPU）記錄其 10 個測量值（metric），1 個時間戳（納秒分辨率），10 個標(biāo)簽值（tag）。生成的數(shù)據(jù)每 10 秒間隔一條記錄，具體的內(nèi)容和示例數(shù)據(jù)如下：

TSBS 測試可以簡單劃分為兩個主要部分——數(shù)據(jù)寫入和數(shù)據(jù)查詢。在本次整個基準(zhǔn)性能評估中，共涉及以下五個場景，每個場景的具體數(shù)據(jù)規(guī)模和特點見下表：

通過上表可以看到，五個場景的區(qū)別主要在于數(shù)據(jù)集所包含的設(shè)備記錄數(shù)量、設(shè)備數(shù)的不同，數(shù)據(jù)時間間隔均維持在 10 sec。整體來看，五個場景的數(shù)據(jù)規(guī)模都不算大，數(shù)據(jù)規(guī)模最大的是場景五，數(shù)據(jù)達(dá)到了 1.8 億，數(shù)據(jù)規(guī)模最小的是場景一，只有 2678 萬條記錄。在場景四和場景五中，由于設(shè)備數(shù)量相對較多，所以數(shù)據(jù)集僅覆蓋了 3 分鐘的時間跨度。

為了保證測試結(jié)果的公正可靠及可復(fù)制性，我們選用了公共 IaaS 平臺來搭建 Benchmark 基礎(chǔ)硬件環(huán)境，采用了大多數(shù)性能對比報告中使用的場景——亞馬遜 EC2 服務(wù)環(huán)境下 r4.8xlarge 類型的實例作為基礎(chǔ)運行平臺，區(qū)域為北美地區(qū)，包括 1 臺服務(wù)器、1 臺客戶端。客戶端與服務(wù)器硬件配置完全相同，兩者使用 10 Gbps 網(wǎng)絡(luò)連接。配置簡表如下：

本次測試的對比軟件為 InfluxDB 1.8.10 及 Timescale 2.6.0，在這里要著重說明一下，由于 InfluxDB 最新的 2.0 版本并沒有納入 TSBS 的主干分支，因此在這次測試中我們暫且使用了 TSBS 主干分支所支持的 InfluxDB 最新版本，即 1.8.10。

整個 TSBS 測試流程相對比較簡單，在進(jìn)行寫入性能對比時，配置完成參數(shù)后直接運行 TSBS 框架腳本，等待結(jié)果輸出即可。對于查詢處理，我們選擇了批量自動化去運行，對每個查詢語句運行 5000 次，統(tǒng)計查詢延遲的算數(shù)平均作為最后的查詢延遲結(jié)果。此外我們還全程監(jiān)控并記錄了整個過程中服務(wù)器與客戶端節(jié)點的系統(tǒng)資源開銷與負(fù)載情況。

下面可以簡單為大家介紹下本次測試結(jié)果。如下表所示，在全部五個場景中，TDengine 寫入性能均優(yōu)于 InfluxDB 和 TimescaleDB，寫入過程中資源占用最低。對比 InfluxDB，TDengine 寫入最優(yōu)的場景是在 1000 萬設(shè)備下，達(dá)到了 InfluxDB 的?10.6 倍；對比 TimescaleDB ，TDengine 寫入最優(yōu)的場景是在 4000 個設(shè)備下，達(dá)到了 TimeScaleDB 的?6.7 倍。

在查詢測試上，我們將其分為 5 大類、15 小類進(jìn)行查詢對比，從下圖結(jié)果匯總中可以看到，在全部 15 個查詢類型中，TDengine 的性能均優(yōu)于 InfluxDB 和 TimescaleDB，并且它的所有查詢延遲均比 InfluxDB 和 TimescaleDB 更低。亮點數(shù)據(jù)之一體現(xiàn)在 Double Rollups 查詢類型對比中，TDengine 最大達(dá)到 InfluxDB 的?34 倍，TimescaleDB 的?24 倍。

以上就是 TDengine 基于 TSBS 測試報告的測試背景介紹，如果你對測試結(jié)果感興趣，歡迎查閱整體報告。