2022 年 8 月 13 日，TDengine 3.0 正式發(fā)布了！經(jīng)過(guò)一年多的努力研發(fā)，我們終于可以驕傲地宣布這一消息。

這是一次重磅升級(jí)，TDengine 3.0 是真正的云原生時(shí)序數(shù)據(jù)庫(kù)（Time Series Database，TSDB）。

我們先來(lái)整體看一下 3.0 的幾大亮點(diǎn)：

• 可以支持 10 億個(gè)設(shè)備采集的數(shù)據(jù)、100 個(gè)節(jié)點(diǎn)
• 支持存儲(chǔ)與計(jì)算分離，引入計(jì)算節(jié)點(diǎn)，并重構(gòu)了整個(gè)計(jì)算引擎
• 完善并優(yōu)化了對(duì)消息隊(duì)列、流式計(jì)算和緩存的支持，引入事件驅(qū)動(dòng)的流式計(jì)算

TDengine 面市以來(lái)，從 1.0 到 2.0，從核心功能開(kāi)源到集群功能開(kāi)源，得到了大量商業(yè)客戶和社區(qū)用戶的高度認(rèn)可，全球安裝的 TDengine 運(yùn)行實(shí)例數(shù)已經(jīng)接近 14 萬(wàn)，每天有超過(guò) 1000 人次克隆代碼，在全球開(kāi)發(fā)者中產(chǎn)生了一定的影響力。日常有大量的社區(qū)開(kāi)發(fā)者基于自己的業(yè)務(wù)需求，提出 issue，貢獻(xiàn)功能，社區(qū)非常活躍。

作為一款開(kāi)源的時(shí)序數(shù)據(jù)庫(kù)產(chǎn)品，TDengine 已經(jīng)廣泛應(yīng)用于物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、車(chē)聯(lián)網(wǎng)、金融、IT 運(yùn)維監(jiān)控等場(chǎng)景。目前已經(jīng)有大量的企業(yè)客戶和社區(qū)用戶將 TDengine 部署在其核心業(yè)務(wù)場(chǎng)景中。用戶場(chǎng)景越多，TDengine 得到的用戶需求和反饋越多，正是這些需求和反饋在推動(dòng)著 TDengine 不斷演進(jìn)。

經(jīng)常關(guān)注 TDengine 的用戶應(yīng)該都很熟悉了，我們已經(jīng)發(fā)布了上百篇用戶案例，這都是企業(yè)客戶和開(kāi)源用戶的第一手實(shí)踐經(jīng)驗(yàn)。有心的讀者都會(huì)發(fā)現(xiàn)，在每篇用戶案例的末尾，用戶也毫不諱言在使用 TDengine 過(guò)程中遇到的問(wèn)題，更是提出了對(duì) TDengine 的更多期待。這都是 TDengine 優(yōu)化迭代的動(dòng)力。

下面我們?cè)敿?xì)看一下 TDengine 3.0 的核心功能。

1. 云原生

TDengine 3.0 可以充分利用云計(jì)算平臺(tái)以及分布式系統(tǒng)的優(yōu)勢(shì)。作為一款云原生，而不只是能在云上運(yùn)行的時(shí)序數(shù)據(jù)庫(kù)，TDengine 3.0 具備云原生數(shù)據(jù)庫(kù)的幾大特點(diǎn)：水平擴(kuò)展性(Scalability)、彈性(Elasticity)、韌性(Resiliency)、可觀測(cè)性(Observability)以及運(yùn)維自動(dòng)化(Automation)。我們就結(jié)合 TDengine 的邏輯架構(gòu)，依次看看它是如何實(shí)現(xiàn)這幾大特點(diǎn)的。

水平擴(kuò)展性(Scalability)

TDengine 通過(guò)數(shù)據(jù)采集點(diǎn)和時(shí)間兩個(gè)維度對(duì)大數(shù)據(jù)進(jìn)行切分，從而實(shí)現(xiàn)了水平擴(kuò)展能力，既支持分片，也支持分區(qū)。通過(guò)將每個(gè)數(shù)據(jù)采集點(diǎn)的元數(shù)據(jù)分布在各個(gè) vnode 里，而不是存放在中心點(diǎn)，我們解決了困擾時(shí)序數(shù)據(jù)庫(kù)的高基數(shù)（High Cardinality）問(wèn)題。TDengine 具有超強(qiáng)的水平擴(kuò)展能力，為獲得更多的數(shù)據(jù)處理能力，只需要加入更多的數(shù)據(jù)節(jié)點(diǎn)即可。通過(guò)測(cè)試，我們可以驗(yàn)證，在 10 億時(shí)間線，100 個(gè)數(shù)據(jù)節(jié)點(diǎn)的情況下，整個(gè) TDengine 性能還能得到很好的保證。

彈性(Elasticity)

作為一個(gè)云原生數(shù)據(jù)庫(kù)，TDengine 3.0 支持 scale up / scale down。為支持存儲(chǔ)的彈性，如果插入的延時(shí)已經(jīng)超過(guò)一定閾值或者性能不夠，TDengine 會(huì)將一個(gè) vnode 拆分成兩個(gè)，從而分配更多的系統(tǒng)資源給數(shù)據(jù)寫(xiě)入操作。另一方面，在能夠保證延時(shí)與性能的情況下，TDengine 也可以把多個(gè) vnode 合并成一個(gè)，以節(jié)省系統(tǒng)資源。

為支持計(jì)算的彈性，TDengine 3.0 引入了計(jì)算節(jié)點(diǎn) qnode。對(duì)于簡(jiǎn)單的查詢，比如獲得某張表的原始數(shù)據(jù)或卷曲數(shù)據(jù)(rollup data)，對(duì)應(yīng)的 vnode 將完成所有的操作，無(wú)需 qnode 的參與。但對(duì)于一個(gè)需要排序、分組或其他需要計(jì)算資源的操作，查詢的執(zhí)行過(guò)程中，一個(gè)或多個(gè) qnode 將被調(diào)用。在具體的部署中，qnode 可以運(yùn)行在容器里，它的啟停完全由 mnode 根據(jù)系統(tǒng)負(fù)載情況決定。

通過(guò)引入 qnode，TDengine 3.0 成為一個(gè)理想的時(shí)序數(shù)據(jù)分析平臺(tái)，包括實(shí)時(shí)數(shù)據(jù)分析和批分析。

韌性(Resiliency)

TDengine 的韌性是通過(guò)其高可靠與高可用設(shè)計(jì)來(lái)實(shí)現(xiàn)的。TDengine 采用 Database 實(shí)現(xiàn)中傳統(tǒng)的方法 WAL(Write Ahead Log) 來(lái)保證數(shù)據(jù)的高可靠。TDengine 通過(guò)多副本以及 RAFT 一致性協(xié)議，保證 vnode 和 mnode 的高可用性。

可觀測(cè)性(Observability)

TDengine 會(huì)采集各種指標(biāo)來(lái)監(jiān)測(cè)自身的運(yùn)行是否正常，這些指標(biāo)包括 CPU、內(nèi)存、磁盤(pán)、流量、請(qǐng)求次數(shù)、延時(shí)等。我們提供了 Grafana 的看板 TDinsight，以實(shí)現(xiàn)這些指標(biāo)的可視化與報(bào)警。

TDengine 還有一個(gè)配套模塊 taosKeeper，能夠?qū)⒉杉闹笜?biāo)發(fā)送到其他監(jiān)測(cè)工具（如 Prometheus），便于將對(duì) TDengine 的監(jiān)測(cè)集成到已有的可觀測(cè)系統(tǒng)。

運(yùn)維自動(dòng)化(Automation)

TDengine 可以用二進(jìn)制包或 Docker 鏡像進(jìn)行安裝，也支持通過(guò) Kubernetes 來(lái)部署和管理集群。其集群的管理完全可以通過(guò)腳本自動(dòng)化進(jìn)行，讓運(yùn)營(yíng)和維護(hù)變得簡(jiǎn)單。

2. 極簡(jiǎn)的時(shí)序數(shù)據(jù)平臺(tái)

熟悉 TDengine 的用戶，可能已經(jīng)使用過(guò)其連續(xù)查詢、緩存和消息隊(duì)列等功能。在 3.0 中，我們又重新設(shè)計(jì)并優(yōu)化了相關(guān)功能。

特別是流式計(jì)算，除連續(xù)查詢外，3.0 還支持事件驅(qū)動(dòng)的流計(jì)算，而且采用 SQL 語(yǔ)法，支持自定義函數(shù)，讓流計(jì)算的學(xué)習(xí)成本幾乎為零。例如，我們可以用如下語(yǔ)句創(chuàng)建流式計(jì)算，它會(huì)自動(dòng)創(chuàng)建名為 avg_vol 的超級(jí)表，此流計(jì)算以一分鐘為時(shí)間窗口、30 秒為前向增量統(tǒng)計(jì)這些電表的平均電壓，并將來(lái)自 meters 表的數(shù)據(jù)的計(jì)算結(jié)果寫(xiě)入 avg_vol 表，不同 partition 的數(shù)據(jù)會(huì)分別創(chuàng)建子表并寫(xiě)入不同子表。

CREATE STREAM avg_vol_s INTO avg_vol AS
SELECT _wstartts, count(*), avg(voltage) FROM meters PARTITION BY tbname INTERVAL(1m) SLIDING(30s);

消息隊(duì)列方面，可指定各種過(guò)濾條件，應(yīng)用可以僅僅訂閱滿足條件的數(shù)據(jù)，而且對(duì)外提供的 API 與 Kafka 類似，簡(jiǎn)單易用。

在時(shí)序數(shù)據(jù)處理平臺(tái)的通用設(shè)計(jì)中，邏輯圖一般如下所示：

而通過(guò)對(duì)緩存、流式計(jì)算、消息隊(duì)列的支持，采用 TDengine 的時(shí)序數(shù)據(jù)處理系統(tǒng)，不再需要集成 Kafka、Redis、Spark 和 Flink 等軟件，技術(shù)架構(gòu)將大為簡(jiǎn)化，部署、運(yùn)營(yíng)維護(hù)成本將大為降低。邏輯結(jié)構(gòu)可以直接簡(jiǎn)化為：

由此可見(jiàn)，TDengine 不只是一個(gè)時(shí)序數(shù)據(jù)庫(kù)，還是一個(gè)極簡(jiǎn)的時(shí)序數(shù)據(jù)處理平臺(tái)。

3. 便捷的數(shù)據(jù)分析能力

TDengine 3.0 重新設(shè)計(jì)了計(jì)算引擎，支持標(biāo)準(zhǔn) SQL，支持嵌套查詢，支持自定義函數(shù)，支持 Information Schema 系統(tǒng)數(shù)據(jù)庫(kù)；針對(duì)時(shí)序數(shù)據(jù)的處理進(jìn)行擴(kuò)展，提供累計(jì)求和、時(shí)間加權(quán)平均、移動(dòng)平均、變化率、session/state 窗口等眾多時(shí)序數(shù)據(jù)分析功能；通過(guò)標(biāo)簽快速索引，通過(guò)分區(qū)、分片技術(shù)，通過(guò)計(jì)算節(jié)點(diǎn)的彈性伸縮，支持對(duì)海量時(shí)序數(shù)據(jù)的多維度的高效聚合分析。

有了新的計(jì)算引擎的加持，特別是計(jì)算與存儲(chǔ)的分離的支持，TDengine 不僅能實(shí)時(shí)地處理數(shù)據(jù)的寫(xiě)入和查詢，也能作為強(qiáng)大的時(shí)序數(shù)據(jù)分析工具。

更多細(xì)節(jié)，可以參閱相關(guān)說(shuō)明：https://github.com/taosdata/TDengine。

借助 TDengine 3.0 的云原生能力，用戶可以更方便地利用云平臺(tái)的能力，簡(jiǎn)化部署和維護(hù)，進(jìn)一步降本增效；極簡(jiǎn)的時(shí)序數(shù)據(jù)平臺(tái)和強(qiáng)大的分析功能，也能幫助用戶簡(jiǎn)化業(yè)務(wù)架構(gòu)、簡(jiǎn)化應(yīng)用設(shè)計(jì)，降低系統(tǒng)的維護(hù)成本，提升處理效率。

架構(gòu)升級(jí)，先人一步，趕快點(diǎn)擊下載鏈接，感受 TDengine 3.0 帶來(lái)的全新體驗(yàn)吧。