小 T 導讀：八五信息新能源電力物聯(lián)網(wǎng)平臺采用TDengine Database，存儲和查詢分析物聯(lián)網(wǎng)設備的實時數(shù)據(jù)，以及光伏設備傳感器的遙測數(shù)據(jù)。需支撐至少50000臺設備總計400萬測點的實時數(shù)據(jù)接入、處理及存儲，預計日增量40多億條。之前使用TimescaleDB，無論在讀寫性能，還是硬件資源上，都遇到了瓶頸，且沒有集群功能。隨后切換到了TDengine，讀寫性能提高了10倍，存儲成本降低到原來1/5左右。

使用場景簡介

當前業(yè)務場景

我們首先在新能源電力物聯(lián)網(wǎng)平臺上使用了TDengine Database，主要用于光伏設備遙測實時數(shù)據(jù)的存儲、查詢和分析。

新能源物聯(lián)網(wǎng)生產運營平臺通過物聯(lián)網(wǎng)及大數(shù)據(jù)技術將現(xiàn)有電站數(shù)據(jù)進行整合，實現(xiàn)園區(qū)設備的統(tǒng)一運行監(jiān)視，數(shù)據(jù)集中管理。給不同人員等提供全面、便捷、差異化的數(shù)據(jù)和服務。

對運維人員提供設備的狀態(tài)信息、報警信息、遠程故障診斷信息、實時數(shù)據(jù)等數(shù)據(jù)應用服務；對管理人員和運營人員提供各類檢測數(shù)據(jù)的匯總、變化趨勢等應用服務。該平臺系統(tǒng)整體的架構如下：

系統(tǒng)的總體架構按照分層實現(xiàn)的設計理念，在底層設計上實現(xiàn)各個軟件系統(tǒng)的職能分離，確保各部分高效運轉。

數(shù)據(jù)規(guī)模，查詢壓力等要求

規(guī)劃設計數(shù)據(jù)存儲規(guī)模大概在16T左右，目前數(shù)據(jù)日增量為1億多條，全部測點接入后預計日增量為40多億條左右；系統(tǒng)需支撐至少50000臺設備總計400萬測點（信號量和模擬量）的實時數(shù)據(jù)接入、處理及存儲。

應用系統(tǒng)的常規(guī)查詢在50QPS左右，高并發(fā)在100QPS左右。一次歷史數(shù)據(jù)查詢分析最大跨度為一年且支撐多測點多模式分析方式。時序數(shù)據(jù)分析界面如下：

工況實時展示界面：

目前總數(shù)據(jù)量以及日增量：

目前創(chuàng)建的超級表以及子表數(shù)：

數(shù)據(jù)模型簡介

目前根據(jù)不同的測點類型建立了不同的超級表。按照不同的測點ID以及測點號作為tag創(chuàng)建了不同的子表。這樣我們針對于測點可以直接進行單表分析，處理性能高、速度快。也可以針對多測點進行分析，直接操作超級表，業(yè)務實現(xiàn)簡單，同時兼顧了查詢性能。

查詢需求

· 簡單查詢

針對于單測點的歷史數(shù)據(jù)查詢分析以及時間間隔聚合分析。主要是對單測點的異常數(shù)據(jù)的排查和告警數(shù)據(jù)的排查確認。TDengine是把同類設備數(shù)據(jù)歸入一個超級表，但每個設備都會根據(jù)超級表的結構建立自己的一張子表，查詢單測點數(shù)據(jù)實際上只查詢一個子表，遍歷的數(shù)據(jù)量大大減少，查詢分析基本毫秒級響應。簡單查詢SQL圖例：

· 聚合查詢

多測點相同時間維度不同聚合類型的時間遷移對比分析。側重于對比，方便用戶更加有效的確認不同測點下的異常和差異情況。

· 大批量測點分組聚合查詢

數(shù)百測點的分組分時段聚合查詢；在一定時間段內，大批量測點的查詢仍然可以迅速響應。

查詢壓力

峰值并發(fā)為100qps，平均并發(fā)量為20qps，實際場景中并發(fā)查詢壓力較小，未達到TDengine的查詢瓶頸。

采用TDengine帶來的收益

系統(tǒng)功能

讀寫性能較原TimescaleDB數(shù)據(jù)庫提高10倍左右，在數(shù)據(jù)接入層不用再擔心數(shù)據(jù)庫的寫入性能瓶頸；數(shù)據(jù)分析查詢應用層也較原系統(tǒng)有較大提升，尤其是在時間跨度大的聚合類分析幾乎瞬間響應。

通過亂序插入功能，解決了邊緣側由于網(wǎng)絡問題導致的數(shù)據(jù)傳輸不及時造成的亂序寫入問題，保證了數(shù)據(jù)的完整性。

集群功能對比TimescaleDB優(yōu)勢較大，TimescaleDB沒有集群功能但支持流復制方式的主備庫；TDengine集群容易搭建且無主從節(jié)點區(qū)分，對應用改造和支撐較友好，集群版讀寫性能提升較大。

數(shù)據(jù)存儲增加集群多副本功能，通過數(shù)據(jù)冗余提升了系統(tǒng)的安全和可靠性，降低了系統(tǒng)的運維成本。

軟硬件資源

節(jié)省了系統(tǒng)大量的計算資源以及存儲資源，降低了大約4倍左右的存儲成本。

對比未使用TDengine之前TimescaleDB時序庫開啟壓縮后對70億數(shù)據(jù)占用磁盤為165G，且一分鐘內無法查詢出一個月的歷史數(shù)據(jù)；而在使用TDengine之后磁盤占用空間為40G左右，毫秒級返回針對一個月的歷史數(shù)據(jù)的聚合查詢。相關查詢如下：

應用TDengine遇到的問題與解決思路

原有時序庫大數(shù)據(jù)量批量導入TDengine，在1.6版本進行批量導入非常麻煩，一次批量插入只有200條左右，后期在升級到了2.0版本以上后一次可以插入1M數(shù)據(jù)，大大提升了不同數(shù)據(jù)庫不同表結構之間的批量導入性能。

未來使用TDengine的考慮

經(jīng)過一段時間的線上運行，TDengine Database有優(yōu)異的性能表現(xiàn)，我們決定將在后續(xù)時間將我們所有的物聯(lián)網(wǎng)項目逐步都更新為TDengine。

TDengine功能方面的期望與建議

分析型函數(shù)增強，希望增加時序庫中實用的常用分析函數(shù)；

增強連續(xù)聚合查詢功能，目前連續(xù)聚合功能實用性不強；

產品生態(tài)，與Spark、Flink等開源分析工具的集成。

作者: 八五信息開發(fā)工程師李良政