小 T 導(dǎo)讀：至數(shù)物聯(lián)網(wǎng)平臺場景多、數(shù)據(jù)模型復(fù)雜，伴隨著業(yè)務(wù)需求的不斷迭代及數(shù)據(jù)量的不斷上漲，原有的 OpenTSDB+MySQL 的組合逐漸力不從心，局限性日益凸顯。在對 TDengine Database 進(jìn)行充分了解與調(diào)研后，基于 TDengine 對至數(shù)搖光進(jìn)行了徹底性的改造。本文分享了至數(shù)結(jié)合自身平臺特點進(jìn)行系統(tǒng)架構(gòu)升級改造的經(jīng)驗，以供參考。

公司簡介&項目背景

至數(shù)（Medatc）是一家致力于打造行業(yè)最佳設(shè)備資產(chǎn)數(shù)據(jù)化運(yùn)營、管理、服務(wù)的平臺，為客戶提供全方位的設(shè)備資產(chǎn)管理支撐，其擁有豐富的行業(yè)經(jīng)驗，以及在大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)、互聯(lián)網(wǎng)+領(lǐng)域的創(chuàng)新實踐能力。公司成立至今已經(jīng)獲得紅杉資本等知名投資機(jī)構(gòu)的戰(zhàn)略投資。

至數(shù)搖光（即：至數(shù)物聯(lián)網(wǎng)平臺）通過動態(tài)能量主動標(biāo)識，動態(tài)環(huán)境主動標(biāo)識，智能網(wǎng)關(guān)，應(yīng)用工業(yè)互聯(lián)網(wǎng)時序數(shù)據(jù)高效采集，邊緣計算以及智能算法自動分發(fā)等一系列技術(shù)，基于醫(yī)療設(shè)備行業(yè)主數(shù)據(jù)規(guī)范，助力醫(yī)療機(jī)構(gòu)短周期、低成本、高質(zhì)量、廣覆蓋地實現(xiàn)有源設(shè)備智慧管理。

一、至數(shù)搖光具有場景多、數(shù)據(jù)模型復(fù)雜的特點

至數(shù)搖光是以提效降耗為目標(biāo)，幫助醫(yī)療機(jī)構(gòu)實現(xiàn)有源設(shè)備的高效管理，為設(shè)備使用效率智能分析，設(shè)備科學(xué)配置，設(shè)備動態(tài)調(diào)配，設(shè)備安全保障提供全方位支撐。目前共推出了 15 項智能場景應(yīng)用，30 項事件及異常告警提醒。

至數(shù)搖光的上述場景改造前數(shù)據(jù)庫采用 OpenTSDB+MySQL 結(jié)合的方式實現(xiàn)，由于 OpenTSDB 無法滿足復(fù)雜查詢場景，因此 80% 的場景指標(biāo)只能基于 MySQL 數(shù)據(jù)庫來實現(xiàn)，這樣帶來的問題就是 MySQL 數(shù)據(jù)庫的數(shù)據(jù)增長迅速，需要定時做冷熱數(shù)據(jù)分離及數(shù)據(jù)庫表維護(hù)動作。

二、TDengine 助力至數(shù)物聯(lián)網(wǎng)平臺實現(xiàn)技術(shù)改造

作為一個大而全的數(shù)據(jù)庫，OpenTSDB 稍顯笨重，伴隨著業(yè)務(wù)需求的不斷迭代及數(shù)據(jù)量的不斷上漲，其局限性日益凸顯，系統(tǒng)的架構(gòu)升級和改造工作日漸迫切。

2021 年我們在對 TDengine Database 有了充分的了解后，決定將至數(shù)搖光從時序數(shù)據(jù) OpenTSDB 遷移到 TDengine，并基于 TDengine 的特性對搖光進(jìn)行徹底性的改造。目前改造工作已經(jīng)全部完成，改造后有大約 80% 左右的指標(biāo)模型放到了 TDengine 中，20% 左右的主數(shù)據(jù)或維表數(shù)據(jù)存放在 MySQL 數(shù)據(jù)庫中。

相較于改造前的 80% 指標(biāo)模型存放在 MySQL 中，20% 指標(biāo)數(shù)據(jù)存放在 OpenTSDB 數(shù)據(jù)庫中，結(jié)果剛好進(jìn)行了顛倒，服務(wù)器資源使用情況也有所下降。應(yīng)用整體的頁面影響速度顯著提高，數(shù)據(jù)模型及數(shù)據(jù)指標(biāo)上也可以更加地靈活多變。

以下為至數(shù)搖光網(wǎng)絡(luò)拓?fù)渎穲D：

以下為改造前后的數(shù)據(jù)庫對比：

以下以 11 萬條數(shù)據(jù)表來做查詢，結(jié)果如下：

聚合查詢，1,155,876 條數(shù)據(jù)在耗時不到 0.17 秒的時間完成 GROUP BY 聚合查詢：

寫入情況，這里截了一張 Flink 寫入TDengine 數(shù)據(jù)庫圖片，3 個小時左右的時間里寫入了 250 萬條采集數(shù)據(jù)，這樣的寫入量遠(yuǎn)遠(yuǎn)沒有達(dá)到 TDengine 的寫入瓶頸，對業(yè)務(wù)的增長留有充裕的空間。

下面是我們的部分應(yīng)用展示：

三、TDengine 使用上的一些意見反饋

我們有些按小時、按天、按月的指標(biāo)計算的時候如果當(dāng)時的維表數(shù)據(jù)有誤需要重算，重算的數(shù)據(jù)需要覆蓋之前的數(shù)據(jù)或者把之前的數(shù)據(jù)刪除掉重新寫入。不過 TDengine Database 目前不支持?jǐn)?shù)據(jù)刪除，希望未來能夠支持刪除功能。

目前更新只支持更新相同時間戳數(shù)據(jù)，希望 tag 和普通字段能夠聯(lián)合篩選做 update；也有業(yè)務(wù)場景需要此類功能。

另外，目前排序還存在一定的限制，希望 tag 和普通字段能夠進(jìn)行自由升降序排列。

最后感謝濤思團(tuán)隊開源出來 TDengine 這款優(yōu)秀的時序數(shù)據(jù)庫系統(tǒng)，也要感謝一下濤思團(tuán)隊對至數(shù)研發(fā)團(tuán)隊的支持與幫助，祝福濤思數(shù)據(jù)越辦越好！