作者：深圳雙合電機(jī)監(jiān)測(cè)和故障預(yù)測(cè)產(chǎn)品研發(fā)團(tuán)隊(duì)

小T導(dǎo)讀：深圳雙合電氣股份有限公司成立于1993年，是國(guó)家級(jí)高新技術(shù)企業(yè)和廣東省專精特新企業(yè)。公司致力于電力及工企業(yè)系統(tǒng)應(yīng)用解決方案及相關(guān)智能監(jiān)測(cè)設(shè)備的研究、開發(fā)、生產(chǎn)與實(shí)施，擁有面向電力系統(tǒng)、發(fā)電、石化、冶金、鋼鐵等行業(yè)的故障診斷及預(yù)警系統(tǒng)系列解決方案。

項(xiàng)目背景

水電廠對(duì)重要主機(jī)設(shè)備已配備基于生產(chǎn)運(yùn)行控制的計(jì)算機(jī)監(jiān)控系統(tǒng)和機(jī)組穩(wěn)定性監(jiān)測(cè)分析系統(tǒng)，主要從振動(dòng)、氣隙等狀態(tài)量對(duì)主機(jī)設(shè)備的運(yùn)行狀態(tài)進(jìn)行監(jiān)測(cè)和評(píng)估；同時(shí)水電廠對(duì)水輪發(fā)電機(jī)組裝設(shè)了故障錄波器，用于記錄機(jī)組異常和故障時(shí)的波形及動(dòng)作情況，但這些監(jiān)測(cè)手段僅從部分角度對(duì)機(jī)組狀態(tài)進(jìn)行評(píng)估，未能從多維綜合的角度評(píng)估機(jī)組的安全運(yùn)行情況。此外，對(duì)故障錄波器記錄的大量機(jī)組的電氣及保護(hù)開關(guān)動(dòng)作信息，未能挖掘數(shù)據(jù)的深入價(jià)值。

基于現(xiàn)有系統(tǒng)的不足，用戶提出了本項(xiàng)目建設(shè)需求，并基于深圳雙合豐富的系統(tǒng)方案解決能力，將本項(xiàng)目交給我司建設(shè)。

主要挑戰(zhàn)

本項(xiàng)目中，用戶提出的最基本，也最核心的需求是將全廠的電力系統(tǒng)各元件納入系統(tǒng)的監(jiān)測(cè)，并存儲(chǔ)高采樣率的原始信號(hào)數(shù)據(jù)。有了原始數(shù)據(jù)，就可以進(jìn)行各種高級(jí)應(yīng)用分析。

在這個(gè)需求中，信號(hào)采樣率是10K，即每秒鐘產(chǎn)生1萬個(gè)浮點(diǎn)數(shù)據(jù)。全廠電力系統(tǒng)元件，初步估算有500個(gè)信號(hào)通道。這樣1天即可產(chǎn)生1.7T字節(jié)數(shù)據(jù)量（10000 * 4 byte * 500 * 24 * 60 * 60）。

巨量的數(shù)據(jù)，給我們?cè)斐蓛蓚€(gè)難題：一是從監(jiān)測(cè)裝置到系統(tǒng)服務(wù)器的數(shù)據(jù)傳輸問題；另一個(gè)就是數(shù)據(jù)存儲(chǔ)問題。

第一個(gè)難題，基于深圳雙合豐富的設(shè)備研發(fā)能力，直接通過硬件發(fā)送鏈路數(shù)據(jù)很快就解決了。

第二個(gè)難題，解決方案就兩個(gè)：選擇數(shù)據(jù)庫存儲(chǔ)或文件存儲(chǔ)。對(duì)于數(shù)據(jù)庫存儲(chǔ)方案，如此巨量的數(shù)據(jù)，根據(jù)經(jīng)驗(yàn)可以知道，常見的主流數(shù)據(jù)庫很難支撐。而文件存儲(chǔ)是電力系統(tǒng)這種類型數(shù)據(jù)通常的存儲(chǔ)方案，于是我們將此方案報(bào)給了用戶，不過他們并沒有選擇。一方面是連續(xù)、巨量的原始采樣數(shù)據(jù)存儲(chǔ)成文件，確實(shí)會(huì)對(duì)后續(xù)的數(shù)據(jù)應(yīng)用產(chǎn)生諸多不便；一方面是希望系統(tǒng)有一定的創(chuàng)新性。

數(shù)據(jù)庫選型和驗(yàn)證

用戶反對(duì)文件存儲(chǔ)方案，逼我們又回到數(shù)據(jù)庫存儲(chǔ)方案上。我們就把目光轉(zhuǎn)向了新興的數(shù)據(jù)庫。

經(jīng)過反復(fù)對(duì)比，濤思數(shù)據(jù)開發(fā)的TDengine時(shí)序數(shù)據(jù)庫優(yōu)異的性能指標(biāo)吸引了我們。我們對(duì)數(shù)據(jù)庫有三個(gè)最關(guān)心的核心性能指標(biāo)（寫入能力、查詢效率、存儲(chǔ)能力）。在正式引入TDengine Database之前，我們對(duì)這三個(gè)指標(biāo)進(jìn)行了測(cè)試驗(yàn)證。

我們建了10個(gè)數(shù)據(jù)表，每個(gè)表50個(gè)數(shù)據(jù)列，數(shù)據(jù)庫采用單機(jī)模式。然后編寫模擬程序每張表每秒產(chǎn)生1萬行記錄插入到這10張表中，并通過SQL語句

 select count(*) from tablename where ts>now -1s  

來驗(yàn)證當(dāng)前（1秒以內(nèi)）產(chǎn)生的數(shù)據(jù)是否及時(shí)被寫入了數(shù)據(jù)庫。

如果數(shù)據(jù)來不及寫入數(shù)據(jù)庫，數(shù)據(jù)就會(huì)慢慢堆積起來。這樣最新的數(shù)據(jù)也就無法在數(shù)據(jù)庫中查到。為了檢查是否存在堆積現(xiàn)象，我們也測(cè)試了程序運(yùn)行多天之后執(zhí)行該SQL，結(jié)果是當(dāng)前最新1秒內(nèi)的數(shù)據(jù)也能在數(shù)據(jù)庫里查到，這說明堆積的數(shù)據(jù)不超過1秒。也就表明，數(shù)據(jù)庫及時(shí)寫入了數(shù)據(jù)，沒有任何延遲。

后來我們又將產(chǎn)生的數(shù)據(jù)量翻倍，測(cè)試結(jié)果一樣，說明TDengine數(shù)據(jù)庫的寫入能力非常強(qiáng)悍。

而查詢效率的驗(yàn)證則相對(duì)簡(jiǎn)單。我們?cè)谝呀?jīng)有了幾十億條記錄的表中隨意查詢幾十萬條記錄，查詢時(shí)間均沒超過1秒，說明TDengine數(shù)據(jù)庫查詢效率也極其強(qiáng)悍。

再就是對(duì)數(shù)據(jù)庫存儲(chǔ)能力的驗(yàn)證。根據(jù)推算，我們1天產(chǎn)生1.7T的數(shù)據(jù)。而我們用du –sh * 命令去查看TDengine數(shù)據(jù)庫的數(shù)據(jù)目錄，24小時(shí)之后再去查看，發(fā)現(xiàn)數(shù)據(jù)增量約是1.7T的30%左右。這說明TDengine的壓縮能力也是比較優(yōu)異的。

基于上述三個(gè)性能指標(biāo)的優(yōu)異表現(xiàn)，我們很快決定將TDengine時(shí)序數(shù)據(jù)庫正式引入項(xiàng)目。

TDengine使用體驗(yàn)

正式使用TDengine數(shù)據(jù)庫后，我們發(fā)現(xiàn)TDengine的C++和Java接口都簡(jiǎn)單清晰，SQL語法與標(biāo)準(zhǔn)SQL基本一樣，學(xué)習(xí)成本幾乎為0，使用TDengine數(shù)據(jù)庫沒有給項(xiàng)目帶來額外的工作量和難度。

最終，TDengine數(shù)據(jù)庫在該項(xiàng)目中順利投入使用，在現(xiàn)場(chǎng)運(yùn)行環(huán)境的表現(xiàn)，如同我們的驗(yàn)證測(cè)試一樣，擁有優(yōu)異的寫入能力和快速的查詢能力，可以有力地支撐系統(tǒng)對(duì)原始信號(hào)數(shù)據(jù)進(jìn)行進(jìn)一步的分析與應(yīng)用。

在該項(xiàng)目中，我們只把高采樣的連續(xù)采樣數(shù)據(jù)存入TDengine數(shù)據(jù)庫中，其他離散型時(shí)序數(shù)據(jù)沒有存到TDengine數(shù)據(jù)庫，還是放在MySQL這樣的傳統(tǒng)數(shù)據(jù)庫中。這種離散型的時(shí)序數(shù)據(jù)，雖然它的時(shí)間間隔很大（比如3分鐘才產(chǎn)生一個(gè)數(shù)據(jù)），但是由于工業(yè)領(lǐng)域數(shù)據(jù)的特殊性，使得傳統(tǒng)的行式數(shù)據(jù)庫特別不適應(yīng)工業(yè)數(shù)據(jù)，數(shù)據(jù)庫模型特別難設(shè)計(jì)。

比如工業(yè)生產(chǎn)系統(tǒng)中，有的設(shè)備產(chǎn)生電壓、頻率數(shù)據(jù)；有的產(chǎn)生電流、功率數(shù)據(jù)；有的產(chǎn)生壓力、溫度數(shù)據(jù)。這些數(shù)據(jù)類型各占一列放在同一張表中，必定造成每一行都有大量的空列，對(duì)數(shù)據(jù)庫的性能影響很大。

另一個(gè)方案就是各個(gè)數(shù)據(jù)獨(dú)立占一行，我們實(shí)際系統(tǒng)中就是這么設(shè)計(jì)的，每一行只有兩個(gè)有效核心列：時(shí)間、值。這種設(shè)計(jì)會(huì)造成大量重復(fù)的時(shí)間數(shù)據(jù)，數(shù)據(jù)行數(shù)成百、成千倍的增加，同樣對(duì)數(shù)據(jù)庫的性能影響也很大，它唯一給系統(tǒng)帶來的好處是擴(kuò)展靈活。

因此，傳統(tǒng)行式數(shù)據(jù)庫在工業(yè)領(lǐng)域是很難設(shè)計(jì)出完美方案的。

而像TDengine數(shù)據(jù)庫這樣的列式數(shù)據(jù)庫則可以完美解決工業(yè)領(lǐng)域里面的這些問題。我們可以使用寬表把所有的數(shù)據(jù)放入同一個(gè)表中，由于是列式數(shù)據(jù)庫，行中的空列對(duì)數(shù)據(jù)庫性能沒有絲毫影響。也可以把不同的分類數(shù)據(jù)放在同一個(gè)模型中（但實(shí)際表可能有多個(gè)），然后用BigTable技術(shù)將多個(gè)表的數(shù)據(jù)匯聚到一個(gè)大表中，提升查詢效率。

未來規(guī)劃

TDengine數(shù)據(jù)庫是為時(shí)序數(shù)據(jù)而生的，因此，未來我們的系統(tǒng)，離散的時(shí)序數(shù)據(jù)也將逐步放入TDengine數(shù)據(jù)庫。我們準(zhǔn)備利用TDengine的技術(shù)特性，重新設(shè)計(jì)數(shù)據(jù)庫模型，使這部分?jǐn)?shù)據(jù)的寫入和查詢效率產(chǎn)生翻天覆地的變化。