作者：曲春輝，負(fù)責(zé)工業(yè)數(shù)字化平臺(tái)架構(gòu)

小T導(dǎo)讀：作為全球性的電氣產(chǎn)品和服務(wù)經(jīng)銷商，藍(lán)格賽于2000年進(jìn)駐中國(guó)市場(chǎng)，一直致力于幫助中國(guó)更有效地使用能源。經(jīng)過(guò)20年的不斷壯大，如今藍(lán)格賽在中國(guó)國(guó)內(nèi)電氣產(chǎn)品和服務(wù)經(jīng)銷商中已經(jīng)成為重要的市場(chǎng)參與者之一，通過(guò)6家業(yè)務(wù)實(shí)體、全國(guó)53個(gè)銷售網(wǎng)點(diǎn)服務(wù)工業(yè)、商業(yè)及樓宇客戶，為它們提供多樣化的工業(yè)自動(dòng)化產(chǎn)品及解決方案。

本次項(xiàng)目為某市政供水水廠的數(shù)字化項(xiàng)目，數(shù)據(jù)來(lái)源于包括水泵、閥門、電表、液位計(jì)、流量計(jì)等多種設(shè)備近6000測(cè)點(diǎn)。該平臺(tái)需要實(shí)現(xiàn)以下功能：數(shù)據(jù)秒級(jí)采集，歷史數(shù)據(jù)留存3年，為上層應(yīng)用提供數(shù)據(jù)支撐，包括所有測(cè)點(diǎn)的瞬時(shí)數(shù)據(jù)、聚合分析、數(shù)據(jù)報(bào)表等。值得注意的是，在本項(xiàng)目中聚合查詢的使用場(chǎng)景非常的多，頁(yè)面上圖表不論大小有上百?gòu)堉?，因此聚合查詢的?shí)現(xiàn)也是本項(xiàng)目的關(guān)鍵之處。

根據(jù)本項(xiàng)目特點(diǎn)，從整體架構(gòu)的具體實(shí)現(xiàn)效果出發(fā)，我們對(duì)存儲(chǔ)技術(shù)提出了很高的要求，甚至可以說(shuō)，存儲(chǔ)技術(shù)的選擇會(huì)直接影響項(xiàng)目后續(xù)的推進(jìn)乃至成敗，這是一個(gè)決定平臺(tái)“脊梁”硬不硬的組件?？紤]到這一問(wèn)題，團(tuán)隊(duì)在技術(shù)選型上著實(shí)花費(fèi)了一些功夫，本次選型也相對(duì)更加慎重。

在選型過(guò)程中我們共調(diào)研了20多個(gè)開(kāi)源存儲(chǔ)技術(shù)，從開(kāi)源組織、授權(quán)協(xié)議、數(shù)據(jù)模型、社區(qū)成熟度、開(kāi)發(fā)語(yǔ)言、組件依賴、性能、穩(wěn)定性、聚合友好、操作系統(tǒng)、集群支撐、副本策略等多個(gè)角度進(jìn)行了對(duì)比，最終選擇了TDengine Database作為海量數(shù)據(jù)存儲(chǔ)引擎。

從7個(gè)優(yōu)點(diǎn)看選擇TDengine Database的原因

事實(shí)上，我們最初選擇的是單純以InfluxDB作為本次項(xiàng)目的核心存儲(chǔ)組件，不過(guò)這一設(shè)想在進(jìn)行技術(shù)驗(yàn)證時(shí)卻發(fā)現(xiàn)難以繼續(xù)推進(jìn)。 主要原因是在技術(shù)驗(yàn)證的過(guò)程中，我們發(fā)現(xiàn)了InfluxDB存在的幾個(gè)問(wèn)題，其中最重要的兩個(gè)是：

• 首先，社區(qū)版本僅支持單節(jié)點(diǎn)。這個(gè)可以說(shuō)是InfluxDB非常不友好的一個(gè)點(diǎn)了，多數(shù)項(xiàng)目采用的都是集群設(shè)計(jì)方案，如果數(shù)據(jù)只能在其中一個(gè)節(jié)點(diǎn)上存儲(chǔ)，浪費(fèi)其他節(jié)點(diǎn)存儲(chǔ)空間不說(shuō)，一旦所在節(jié)點(diǎn)出現(xiàn)故障，對(duì)整個(gè)項(xiàng)目的影響是災(zāi)難級(jí)的。
• 其次，隨著數(shù)據(jù)量及存儲(chǔ)時(shí)長(zhǎng)的提升，InfluxDB的聚合性能出現(xiàn)了巨大的瓶頸，我們?cè)趯?shí)際測(cè)試的時(shí)候，模擬了百萬(wàn)測(cè)點(diǎn)近1年的數(shù)據(jù)，當(dāng)聚合請(qǐng)求比較多的時(shí)候，基本上就很慢了，這點(diǎn)也對(duì)本項(xiàng)目影響很大。

由于以上兩個(gè)問(wèn)題的存在，從架構(gòu)實(shí)現(xiàn)的角度來(lái)講，我們必須對(duì)存儲(chǔ)技術(shù)進(jìn)行重新選擇。恰好此時(shí)TDengine也開(kāi)放了集群版本，偶然的契機(jī)下又聽(tīng)到了陶老師對(duì)于時(shí)序數(shù)據(jù)的特點(diǎn)總結(jié)，感覺(jué)研究的非常深入，總結(jié)的也很全面。 后經(jīng)與團(tuán)隊(duì)溝通，在技術(shù)選型調(diào)研時(shí)就一并把TDengine包含在了調(diào)研范圍之內(nèi)。簡(jiǎn)單嘗試之后，我們發(fā)現(xiàn)TDengine的數(shù)據(jù)模型真的非常適合工業(yè)場(chǎng)景，總結(jié)來(lái)說(shuō)有以下幾個(gè)優(yōu)點(diǎn)。

優(yōu)點(diǎn)：

1. 社區(qū)版本支持集群：可以比較好的利用集群的存儲(chǔ)空間，數(shù)據(jù)也可以分散開(kāi)來(lái)。
2. 聚合性能優(yōu)越：由于TDengine的數(shù)據(jù)模型特定及對(duì)集群的支撐，在模擬測(cè)試過(guò)程中，基本上沒(méi)有遇到聚合瓶頸。隨著數(shù)據(jù)量的增加及存儲(chǔ)時(shí)長(zhǎng)的延長(zhǎng)，聚合性能也非常穩(wěn)定。
3. 簡(jiǎn)單易用：在工業(yè)場(chǎng)景中，組件低耦合是很必要的，TDengine開(kāi)箱即用的特性很“香”，學(xué)習(xí)成本低，上手快速。
4. 數(shù)據(jù)模型優(yōu)秀：在工業(yè)場(chǎng)景中，設(shè)備及測(cè)點(diǎn)的增減非常的普遍，TDengine的超級(jí)表及子表的概念很好地解決了這個(gè)問(wèn)題，單列模式的場(chǎng)景對(duì)本項(xiàng)目來(lái)說(shuō)非常友好。
5. 查詢語(yǔ)義具有普適性：TDengine的查詢語(yǔ)句與InfluxDB非常接近，這點(diǎn)也非常好。
6. 版本升級(jí)簡(jiǎn)單：卸載原有版本，安裝新版本即可，無(wú)需數(shù)據(jù)遷移。
7. 社區(qū)支持：普通的問(wèn)題基本上都可以在issue上得到答復(fù)，遇到緊急問(wèn)題的時(shí)候，濤思數(shù)據(jù)的同事甚至可以親自遠(yuǎn)程解決，為他們點(diǎn)贊，在使用的時(shí)候放心不少。

10個(gè)看板頁(yè)面，近百個(gè)聚合請(qǐng)求

選型確定之后，我們就正式開(kāi)始了搭建。搭載TDengine之后的架構(gòu)圖如下所示：

采用該方案的很大一部分原因是InfluxDB和TDengine在查詢語(yǔ)義上的天然一致性。我們?yōu)門Dengine外層包裝了一層SDK，對(duì)應(yīng)用層開(kāi)放SDK，使應(yīng)用層對(duì)存儲(chǔ)技術(shù)無(wú)感，在SDK內(nèi)部通過(guò)查詢的時(shí)間跨度、組件健康程度等多個(gè)因素自動(dòng)選擇查詢引擎，這樣可以保障其中一個(gè)技術(shù)在出現(xiàn)問(wèn)題的時(shí)候，另一個(gè)技術(shù)隨時(shí)頂上來(lái)，大大降低了由于技術(shù)穩(wěn)定性所帶來(lái)的風(fēng)險(xiǎn)。

在數(shù)據(jù)處理的具體分工上，當(dāng)前我們主要使用TDengine支持?jǐn)?shù)據(jù)聚合的場(chǎng)景。在本次項(xiàng)目中，數(shù)據(jù)看板是功能的核心，同時(shí)也是用戶最看中的地方，而這部分的數(shù)據(jù)聚合基本上都依賴于TDengine——目前其共支持應(yīng)用端約10個(gè)看板頁(yè)面，合計(jì)近百個(gè)聚合請(qǐng)求，是本項(xiàng)項(xiàng)目落地的關(guān)鍵。

TDengine Database在本項(xiàng)目中運(yùn)行穩(wěn)定，為項(xiàng)目的具體功能實(shí)現(xiàn)提供了關(guān)鍵助力。未來(lái)，隨著TDengine技術(shù)的不斷成熟穩(wěn)定，團(tuán)隊(duì)準(zhǔn)備將其作為工業(yè)數(shù)據(jù)庫(kù)的存儲(chǔ)引擎運(yùn)用在其他項(xiàng)目中。在接下來(lái)的產(chǎn)品線規(guī)劃上，TDengine也將作為首選的重要技術(shù)組件。