小 T 導(dǎo)讀：八五信息新能源電力物聯(lián)網(wǎng)平臺采用TDengine Database，存儲和查詢分析物聯(lián)網(wǎng)設(shè)備的實(shí)時(shí)數(shù)據(jù)，以及光伏設(shè)備傳感器的遙測數(shù)據(jù)。需支撐至少50000臺設(shè)備總計(jì)400萬測點(diǎn)的實(shí)時(shí)數(shù)據(jù)接入、處理及存儲，預(yù)計(jì)日增量40多億條。之前使用TimescaleDB，無論在讀寫性能，還是硬件資源上，都遇到了瓶頸，且沒有集群功能。隨后切換到了TDengine，讀寫性能提高了10倍，存儲成本降低到原來1/5左右。

使用場景簡介

當(dāng)前業(yè)務(wù)場景

我們首先在新能源電力物聯(lián)網(wǎng)平臺上使用了TDengine Database，主要用于光伏設(shè)備遙測實(shí)時(shí)數(shù)據(jù)的存儲、查詢和分析。

新能源物聯(lián)網(wǎng)生產(chǎn)運(yùn)營平臺通過物聯(lián)網(wǎng)及大數(shù)據(jù)技術(shù)將現(xiàn)有電站數(shù)據(jù)進(jìn)行整合，實(shí)現(xiàn)園區(qū)設(shè)備的統(tǒng)一運(yùn)行監(jiān)視，數(shù)據(jù)集中管理。給不同人員等提供全面、便捷、差異化的數(shù)據(jù)和服務(wù)。

對運(yùn)維人員提供設(shè)備的狀態(tài)信息、報(bào)警信息、遠(yuǎn)程故障診斷信息、實(shí)時(shí)數(shù)據(jù)等數(shù)據(jù)應(yīng)用服務(wù)；對管理人員和運(yùn)營人員提供各類檢測數(shù)據(jù)的匯總、變化趨勢等應(yīng)用服務(wù)。該平臺系統(tǒng)整體的架構(gòu)如下：

系統(tǒng)的總體架構(gòu)按照分層實(shí)現(xiàn)的設(shè)計(jì)理念，在底層設(shè)計(jì)上實(shí)現(xiàn)各個(gè)軟件系統(tǒng)的職能分離，確保各部分高效運(yùn)轉(zhuǎn)。

數(shù)據(jù)規(guī)模，查詢壓力等要求

規(guī)劃設(shè)計(jì)數(shù)據(jù)存儲規(guī)模大概在16T左右，目前數(shù)據(jù)日增量為1億多條，全部測點(diǎn)接入后預(yù)計(jì)日增量為40多億條左右；系統(tǒng)需支撐至少50000臺設(shè)備總計(jì)400萬測點(diǎn)（信號量和模擬量）的實(shí)時(shí)數(shù)據(jù)接入、處理及存儲。

應(yīng)用系統(tǒng)的常規(guī)查詢在50QPS左右，高并發(fā)在100QPS左右。一次歷史數(shù)據(jù)查詢分析最大跨度為一年且支撐多測點(diǎn)多模式分析方式。時(shí)序數(shù)據(jù)分析界面如下：

工況實(shí)時(shí)展示界面：

目前總數(shù)據(jù)量以及日增量：

目前創(chuàng)建的超級表以及子表數(shù)：

數(shù)據(jù)模型簡介

目前根據(jù)不同的測點(diǎn)類型建立了不同的超級表。按照不同的測點(diǎn)ID以及測點(diǎn)號作為tag創(chuàng)建了不同的子表。這樣我們針對于測點(diǎn)可以直接進(jìn)行單表分析，處理性能高、速度快。也可以針對多測點(diǎn)進(jìn)行分析，直接操作超級表，業(yè)務(wù)實(shí)現(xiàn)簡單，同時(shí)兼顧了查詢性能。

查詢需求

· 簡單查詢

針對于單測點(diǎn)的歷史數(shù)據(jù)查詢分析以及時(shí)間間隔聚合分析。主要是對單測點(diǎn)的異常數(shù)據(jù)的排查和告警數(shù)據(jù)的排查確認(rèn)。TDengine是把同類設(shè)備數(shù)據(jù)歸入一個(gè)超級表，但每個(gè)設(shè)備都會根據(jù)超級表的結(jié)構(gòu)建立自己的一張子表，查詢單測點(diǎn)數(shù)據(jù)實(shí)際上只查詢一個(gè)子表，遍歷的數(shù)據(jù)量大大減少，查詢分析基本毫秒級響應(yīng)。簡單查詢SQL圖例：

· 聚合查詢

多測點(diǎn)相同時(shí)間維度不同聚合類型的時(shí)間遷移對比分析。側(cè)重于對比，方便用戶更加有效的確認(rèn)不同測點(diǎn)下的異常和差異情況。

· 大批量測點(diǎn)分組聚合查詢

數(shù)百測點(diǎn)的分組分時(shí)段聚合查詢；在一定時(shí)間段內(nèi)，大批量測點(diǎn)的查詢?nèi)匀豢梢匝杆夙憫?yīng)。

查詢壓力

峰值并發(fā)為100qps，平均并發(fā)量為20qps，實(shí)際場景中并發(fā)查詢壓力較小，未達(dá)到TDengine的查詢瓶頸。

采用TDengine帶來的收益

系統(tǒng)功能

讀寫性能較原TimescaleDB數(shù)據(jù)庫提高10倍左右，在數(shù)據(jù)接入層不用再擔(dān)心數(shù)據(jù)庫的寫入性能瓶頸；數(shù)據(jù)分析查詢應(yīng)用層也較原系統(tǒng)有較大提升，尤其是在時(shí)間跨度大的聚合類分析幾乎瞬間響應(yīng)。

通過亂序插入功能，解決了邊緣側(cè)由于網(wǎng)絡(luò)問題導(dǎo)致的數(shù)據(jù)傳輸不及時(shí)造成的亂序?qū)懭雴栴}，保證了數(shù)據(jù)的完整性。

集群功能對比TimescaleDB優(yōu)勢較大，TimescaleDB沒有集群功能但支持流復(fù)制方式的主備庫；TDengine集群容易搭建且無主從節(jié)點(diǎn)區(qū)分，對應(yīng)用改造和支撐較友好，集群版讀寫性能提升較大。

數(shù)據(jù)存儲增加集群多副本功能，通過數(shù)據(jù)冗余提升了系統(tǒng)的安全和可靠性，降低了系統(tǒng)的運(yùn)維成本。

軟硬件資源

節(jié)省了系統(tǒng)大量的計(jì)算資源以及存儲資源，降低了大約4倍左右的存儲成本。

對比未使用TDengine之前TimescaleDB時(shí)序庫開啟壓縮后對70億數(shù)據(jù)占用磁盤為165G，且一分鐘內(nèi)無法查詢出一個(gè)月的歷史數(shù)據(jù)；而在使用TDengine之后磁盤占用空間為40G左右，毫秒級返回針對一個(gè)月的歷史數(shù)據(jù)的聚合查詢。相關(guān)查詢?nèi)缦拢?/p>

應(yīng)用TDengine遇到的問題與解決思路

原有時(shí)序庫大數(shù)據(jù)量批量導(dǎo)入TDengine，在1.6版本進(jìn)行批量導(dǎo)入非常麻煩，一次批量插入只有200條左右，后期在升級到了2.0版本以上后一次可以插入1M數(shù)據(jù)，大大提升了不同數(shù)據(jù)庫不同表結(jié)構(gòu)之間的批量導(dǎo)入性能。

未來使用TDengine的考慮

經(jīng)過一段時(shí)間的線上運(yùn)行，TDengine Database有優(yōu)異的性能表現(xiàn)，我們決定將在后續(xù)時(shí)間將我們所有的物聯(lián)網(wǎng)項(xiàng)目逐步都更新為TDengine。

TDengine功能方面的期望與建議

分析型函數(shù)增強(qiáng)，希望增加時(shí)序庫中實(shí)用的常用分析函數(shù)；

增強(qiáng)連續(xù)聚合查詢功能，目前連續(xù)聚合功能實(shí)用性不強(qiáng)；

產(chǎn)品生態(tài)，與Spark、Flink等開源分析工具的集成。

作者: 八五信息開發(fā)工程師李良政