作者介紹： 徐子攀，上海旬思科技有限公司研發(fā)總監(jiān)，長(zhǎng)期從事底層工業(yè)通訊協(xié)議開(kāi)發(fā)，獨(dú)立完成多種主流PLC、流量計(jì)等工業(yè)設(shè)備通訊采集驅(qū)動(dòng)開(kāi)發(fā)，對(duì)工業(yè)現(xiàn)場(chǎng)數(shù)據(jù)采集相關(guān)技術(shù)有深入研究。近年參與工業(yè)互聯(lián)網(wǎng)平臺(tái)構(gòu)建工作，負(fù)責(zé)平臺(tái)架構(gòu)設(shè)計(jì)以及主要業(yè)務(wù)代碼開(kāi)發(fā)工作。

上海旬思科技有限公司專注于工業(yè)大數(shù)據(jù)平臺(tái)實(shí)時(shí)數(shù)據(jù)采集、設(shè)備遠(yuǎn)程監(jiān)測(cè)及預(yù)測(cè)性維護(hù)、機(jī)器協(xié)同互聯(lián)、遠(yuǎn)程實(shí)時(shí)控制等多個(gè)工業(yè)領(lǐng)域。背靠上海臨港新片區(qū)針對(duì)工業(yè)互聯(lián)網(wǎng)、智能制造領(lǐng)域的產(chǎn)業(yè)扶持，打造國(guó)內(nèi)工業(yè)互聯(lián)網(wǎng)行業(yè)先進(jìn)產(chǎn)品和技術(shù)的先鋒企業(yè)。

旬思工業(yè)互聯(lián)平臺(tái)（TServer）是面向工業(yè)企業(yè)建立大數(shù)據(jù)平臺(tái)的產(chǎn)品解決方案，提供數(shù)據(jù)采集、解析、展示、報(bào)警、統(tǒng)計(jì)、查詢、分析以及遠(yuǎn)程運(yùn)維通道管理等功能，內(nèi)置實(shí)時(shí)數(shù)據(jù)庫(kù)引擎，融合傳統(tǒng)SCADA軟件和工業(yè)互聯(lián)網(wǎng)架構(gòu)技術(shù)，適用于工業(yè)互聯(lián)網(wǎng)行業(yè)的賦能創(chuàng)新。

項(xiàng)目背景和技術(shù)難點(diǎn)

湖北某特鋼公司的電力能源介質(zhì)的計(jì)量，是通過(guò)TBox工控網(wǎng)關(guān)采集多功能電表來(lái)實(shí)現(xiàn)的。按照《關(guān)于湖北電網(wǎng)2020-2022年輸配電價(jià)和銷售電價(jià)有關(guān)事項(xiàng)的通知》，需要完善并實(shí)現(xiàn)“峰谷平尖”電能量費(fèi)率計(jì)量和能源報(bào)表。TBox工控網(wǎng)關(guān)基于前期項(xiàng)目實(shí)施和實(shí)際應(yīng)用需求提供了完整的技術(shù)方案，包含從電表采集電能數(shù)據(jù)并寫入TDengine時(shí)序數(shù)據(jù)庫(kù)，再經(jīng)過(guò)ETL工具處理后轉(zhuǎn)存到Oracle數(shù)據(jù)庫(kù)，從而滿足企業(yè)一期電能量數(shù)據(jù)報(bào)表對(duì)實(shí)時(shí)數(shù)據(jù)采集和存儲(chǔ)的要求。

本項(xiàng)目主要接入的能源介質(zhì)有：電力、焦?fàn)t煤氣、高爐煤氣、轉(zhuǎn)爐煤氣、壓縮空氣、天然氣、氧氣、氮?dú)?、氬氣、蒸汽、凈水、軟水、除鹽水和生活水等，項(xiàng)目一期首先要求采集電能量數(shù)據(jù)，其中需要接入的電表多達(dá)874塊，電力能源數(shù)據(jù)已超20000點(diǎn)，每天產(chǎn)生的數(shù)據(jù)量在2800萬(wàn)條以上；項(xiàng)目二期如果再接入非電數(shù)據(jù)，還會(huì)有幾千個(gè)流量設(shè)備的接入，整個(gè)系統(tǒng)數(shù)據(jù)點(diǎn)也將遠(yuǎn)超50000點(diǎn)，每天產(chǎn)生的數(shù)據(jù)量預(yù)估在1億條左右。

在設(shè)備通訊數(shù)據(jù)采集方面，我們一直處于行業(yè)領(lǐng)先水平；但對(duì)于大數(shù)據(jù)量的存儲(chǔ)，選擇什么樣的數(shù)據(jù)庫(kù)，是否也能滿足二期大數(shù)據(jù)量的接入能力，給我們帶來(lái)了極大的挑戰(zhàn)。

本項(xiàng)目特點(diǎn)：

• 開(kāi)發(fā)周期短：用戶要求系統(tǒng)一個(gè)月上線；
• 穩(wěn)定性要求高：工業(yè)應(yīng)用的特點(diǎn)，系統(tǒng)無(wú)人化運(yùn)維；
• 單機(jī)性能要求：在用戶提供的一臺(tái)16核32G內(nèi)存服務(wù)器上，需要完成所有工作，包含數(shù)據(jù)上傳、處理和轉(zhuǎn)存等服務(wù)；
• 系統(tǒng)兼容性：同時(shí)要考慮滿足二期50000+點(diǎn)的數(shù)據(jù)接入能力。

選擇 TDengine Database 的理由

為了解決大數(shù)據(jù)量帶來(lái)的數(shù)據(jù)存儲(chǔ)難點(diǎn)，以及滿足系統(tǒng)性能要求，我們?cè)跀?shù)據(jù)庫(kù)選型方面，做了充分的調(diào)研：

• MySQL：傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)

開(kāi)源免費(fèi)，安裝使用簡(jiǎn)單，維護(hù)成本低，很少宕機(jī)，支持多操作系統(tǒng)。

• InfluxDB：時(shí)序數(shù)據(jù)庫(kù)

可以高性能地查詢與存儲(chǔ)時(shí)序型數(shù)據(jù)，被廣泛應(yīng)用于存儲(chǔ)系統(tǒng)的監(jiān)控?cái)?shù)據(jù)、IoT行業(yè)的實(shí)時(shí)數(shù)據(jù)等場(chǎng)景；集群功能沒(méi)有開(kāi)源。

• TDengine：國(guó)產(chǎn)時(shí)序數(shù)據(jù)庫(kù)

國(guó)產(chǎn)開(kāi)源，針對(duì)工業(yè)互聯(lián)網(wǎng)場(chǎng)景做了大量?jī)?yōu)化，同時(shí)還支持滑動(dòng)窗口，流式計(jì)算。開(kāi)源了集群版本。

分析項(xiàng)目需求不難發(fā)現(xiàn)，時(shí)序數(shù)據(jù)庫(kù)更適合此類工業(yè)大數(shù)據(jù)應(yīng)用。而在同等數(shù)據(jù)集和硬件環(huán)境下，濤思官方的測(cè)試結(jié)果顯示，TDengine的寫入速度遠(yuǎn)高于InfluxDB。同時(shí)TDengine支持多種數(shù)據(jù)接口，包含C/C++，Java，Python，Go和RESTful等。由于我們數(shù)據(jù)解析部分使用Go語(yǔ)言編寫，所以最終采用了Go Connector接口方式進(jìn)行時(shí)序庫(kù)讀寫。

應(yīng)用 TDengine Database 的場(chǎng)景、業(yè)務(wù)架構(gòu)

本項(xiàng)目場(chǎng)景的能源管理類數(shù)據(jù)除時(shí)序特征外，還具有其他多種明顯特征：

• 數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)單，寫多讀少；
• 數(shù)據(jù)極少需要更新或刪除；
• 流量平穩(wěn)，根據(jù)設(shè)備數(shù)量和采集頻次，可預(yù)測(cè)；
• 數(shù)據(jù)保留期限為10年；
• 數(shù)據(jù)的查詢分析是基于時(shí)間段和空間區(qū)域；
• 除存儲(chǔ)、查詢操作外，還需要各種統(tǒng)計(jì)和實(shí)時(shí)計(jì)算操作；
• 數(shù)據(jù)量巨大，一天采集的數(shù)據(jù)可能超過(guò)1億條。

根據(jù)上述數(shù)據(jù)特征，結(jié)合TDengine給的建議，以及本項(xiàng)目數(shù)據(jù)特點(diǎn)和使用場(chǎng)景，我們做了以下優(yōu)化設(shè)計(jì)：

• 包含模擬量，數(shù)字量，報(bào)警，系統(tǒng)日志等類型數(shù)據(jù)，同類型使用一個(gè)超級(jí)表集合；
• 單個(gè)數(shù)據(jù)點(diǎn)對(duì)應(yīng)單個(gè)表存儲(chǔ)；
• 批量數(shù)據(jù)寫入，最大化SQL字符串拼接，提高數(shù)據(jù)寫入效率；
• Go多協(xié)程并發(fā)寫入，進(jìn)一步提高寫入效率。

庫(kù)結(jié)構(gòu)設(shè)計(jì)：保留update功能，方便后期對(duì)壞數(shù)據(jù)做二次處理。

普通表一覽：基于超級(jí)表自動(dòng)生產(chǎn)普通點(diǎn)表。

電力能源數(shù)據(jù)一覽：數(shù)據(jù)上傳平臺(tái)后解析并顯示。

電力能源數(shù)據(jù)滑動(dòng)查詢：根據(jù)查詢時(shí)間長(zhǎng)度自適應(yīng)選擇滑動(dòng)窗口大小。

下圖是本項(xiàng)目完整業(yè)務(wù)架構(gòu)圖，TBox工控網(wǎng)關(guān)南向采集現(xiàn)場(chǎng)電力能源數(shù)據(jù)，北向?qū)崟r(shí)上傳數(shù)據(jù)到TServer工業(yè)互聯(lián)平臺(tái)；TServer接收到數(shù)據(jù)后，通過(guò)解析識(shí)別，分類組包高并發(fā)寫入TDengine時(shí)序庫(kù)。

前期調(diào)研，TDengine優(yōu)勢(shì)再體現(xiàn)

在這里我們首先提兩個(gè)工業(yè)實(shí)時(shí)數(shù)據(jù)庫(kù)。 一個(gè)是Wonderware的高性能實(shí)時(shí)關(guān)系型數(shù)據(jù)庫(kù)InSQL，它集成了微軟公司的MS SQL Server并對(duì)其進(jìn)行了擴(kuò)展，具有高效數(shù)據(jù)壓縮和數(shù)據(jù)存儲(chǔ)等實(shí)時(shí)數(shù)據(jù)庫(kù)功能，它比常規(guī)關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)采集速度、存儲(chǔ)量高數(shù)百倍。

InSQL擴(kuò)展了SQL語(yǔ)句，使其具有了時(shí)間特性。InSQL的運(yùn)行性能與所用的硬件系統(tǒng)有關(guān)，單機(jī)可以在1秒內(nèi)完成6萬(wàn)個(gè)點(diǎn)的取數(shù)或存儲(chǔ)(峰值)。這個(gè)速度與數(shù)據(jù)存貯方式無(wú)關(guān)，采用的周期性存儲(chǔ)(以固定的多少毫秒存儲(chǔ)一次)或增量存儲(chǔ)(數(shù)據(jù)的變化超過(guò)設(shè)定百分比時(shí)存一次)。InSQL可以每秒存儲(chǔ)3萬(wàn)點(diǎn)(均值)或每100毫秒存2000點(diǎn)數(shù)據(jù)。要提高數(shù)據(jù)采集速度，主要障礙是大多數(shù)數(shù)據(jù)源(PLC或DCS)提供數(shù)據(jù)的速度趕不上InSQL取數(shù)的速度。InSQL的最小分辨率為3.3毫秒。

另一個(gè)是OSI的PI數(shù)據(jù)庫(kù)，每個(gè)PI的高端產(chǎn)品服務(wù)器中可以處理每秒鐘15萬(wàn)點(diǎn)的數(shù)據(jù)。在客戶端軟件ProcessBook上，可以在秒級(jí)時(shí)間內(nèi)從2年或3年歷史中取到1000點(diǎn)數(shù)據(jù)。在OSI的WEB網(wǎng)站上有一個(gè)電子表格可以幫助你詳細(xì)計(jì)算所需的配置。

TDengine是濤思數(shù)據(jù)面對(duì)高速增長(zhǎng)的物聯(lián)網(wǎng)大數(shù)據(jù)市場(chǎng)和技術(shù)挑戰(zhàn)推出的創(chuàng)新性的大數(shù)據(jù)處理產(chǎn)品，在時(shí)序空間大數(shù)據(jù)處理上，有著自己獨(dú)到的優(yōu)勢(shì)。TDengine單核每秒能處理至少2萬(wàn)次請(qǐng)求，插入數(shù)百萬(wàn)個(gè)數(shù)據(jù)點(diǎn)，讀出一千萬(wàn)以上數(shù)據(jù)點(diǎn)，比現(xiàn)有通用數(shù)據(jù)庫(kù)快十倍以上，也遠(yuǎn)遠(yuǎn)超出了InSQL、PI這兩個(gè)工業(yè)實(shí)時(shí)數(shù)據(jù)庫(kù)的讀寫能力。

TDengine問(wèn)題解決

使用TDengine過(guò)程中，幾乎沒(méi)有遇到什么大問(wèn)題。一些小bug也可以通過(guò)版本升級(jí)解決。這里要對(duì)濤思數(shù)據(jù)的物聯(lián)網(wǎng)大數(shù)據(jù)微信交流群，以及非常熱心的濤思工程師陳玉同學(xué)，在我們一期系統(tǒng)上線后遇到的配置錯(cuò)誤導(dǎo)致服務(wù)啟動(dòng)失敗的積極快速響應(yīng)表示感謝。

未來(lái)規(guī)劃

本項(xiàng)目一期電力能源數(shù)據(jù)的采集早已上線運(yùn)行3個(gè)多月，用戶也非常認(rèn)可這套系統(tǒng)。我們?cè)诮o用戶培訓(xùn)過(guò)程中，也強(qiáng)力推薦了國(guó)產(chǎn)的TDengine數(shù)據(jù)庫(kù)，相信未來(lái)這些用戶也將成為TDengine的忠實(shí)粉絲。

我們正在準(zhǔn)備項(xiàng)目二期非電能數(shù)據(jù)的采集，這次變量會(huì)成倍增長(zhǎng)，同時(shí)也會(huì)面臨新的挑戰(zhàn)，比如分布式存儲(chǔ)，熱冗余備份等作為大數(shù)據(jù)量接入和數(shù)據(jù)安全備份的必要保障。

經(jīng)過(guò)一期成功經(jīng)驗(yàn)的積累，我們相信二期新系統(tǒng)也會(huì)很順利的交付運(yùn)行。后續(xù)在石油管道，冶金智能制造等更多場(chǎng)景中，也在嘗試使用TDengine時(shí)序庫(kù)作為我們的存儲(chǔ)方案。 對(duì)于TDengine，我們也有一些期待升級(jí)改進(jìn)的地方：

• 推出Windows平臺(tái)的Server端；
• 更多的SQL語(yǔ)句支持，支持更豐富的復(fù)雜計(jì)算；
• 更穩(wěn)定運(yùn)行，異常不重啟服務(wù)。