易永耀 夏杭泰 鄧煒興｜數(shù)益工聯(lián)

公司介紹

數(shù)益工聯(lián)致力于打造基于數(shù)據(jù)流+價(jià)值流的離散制造業(yè)數(shù)字化軟件；應(yīng)用新一代的物聯(lián)網(wǎng)技術(shù)與豐富的現(xiàn)場(chǎng)交互手段，融合工業(yè)工程精益思想，為離散制造業(yè)客戶的數(shù)字化升級(jí)提供從規(guī)劃到實(shí)施落地的端到端工廠級(jí)解決方案；打造行業(yè)與客戶的工業(yè)數(shù)據(jù)平臺(tái)，持續(xù)提供數(shù)據(jù)智能服務(wù)。核心團(tuán)隊(duì)來(lái)自清華大學(xué)等知名院校，同時(shí)擁有深厚的制造業(yè)精益運(yùn)營(yíng)管理能力和豐富的數(shù)字化工廠成功經(jīng)驗(yàn)。團(tuán)隊(duì)以IE+IT為核心能力，實(shí)現(xiàn)產(chǎn)品和技術(shù)的雙輪驅(qū)動(dòng)，旨在服務(wù)離散制造業(yè)客戶通過(guò)數(shù)字化顯著改善質(zhì)量管理水平、提升企業(yè)生產(chǎn)效率、降低制造成本。

業(yè)務(wù)場(chǎng)景

工業(yè)設(shè)備物聯(lián)采集是數(shù)字化工廠建設(shè)的基礎(chǔ)，設(shè)備在運(yùn)行過(guò)程中會(huì)產(chǎn)生大量有價(jià)值的數(shù)據(jù)，例如：設(shè)備狀態(tài)、實(shí)時(shí)工藝參數(shù)、合格報(bào)廢數(shù)量、生產(chǎn)節(jié)拍、異常報(bào)警信息等，設(shè)備物聯(lián)采集可以為后續(xù)的數(shù)據(jù)分析挖掘提供最基礎(chǔ)、透明、可靠的數(shù)據(jù)來(lái)源。

目前我們的客戶，其設(shè)備的主要特點(diǎn)是：

• 設(shè)備類型繁多，不同類設(shè)備的通訊接口、采集協(xié)議、采集參數(shù)各不相同
• 單個(gè)工廠的設(shè)備數(shù)量：幾十至幾千
• 單臺(tái)設(shè)備的采集參數(shù)數(shù)量：幾十至幾百
• 采集頻次的基本要求：每秒采集一次，支持變化上報(bào)
• 參數(shù)類型包含：數(shù)值、文本

我們對(duì)自研工業(yè)物聯(lián)采集平臺(tái)的定位是：可對(duì)物聯(lián)數(shù)據(jù)進(jìn)行采集、存儲(chǔ)和查詢，可用于單個(gè)工廠或多個(gè)工廠的設(shè)備物聯(lián)采集。

需要支持的特性：

• 功能穩(wěn)定
• 高效的數(shù)據(jù)寫入
• 高效的數(shù)據(jù)查詢，包括最新數(shù)據(jù)和歷史數(shù)據(jù)
• 可云化部署
• 可私有化部署
• 線性擴(kuò)展
• 高可用
• 便于連接大數(shù)據(jù)平臺(tái)

不需要支持的特性：

• 修改/刪除數(shù)據(jù)
• 數(shù)據(jù)分析

技術(shù)選型

基于業(yè)務(wù)場(chǎng)景的需求，我們選擇時(shí)序數(shù)據(jù)庫(kù)（Time-Series Database）作為物聯(lián)采集平臺(tái)的核心組件，并調(diào)研了幾款產(chǎn)品：InfluxDB、OpenTSDB和TDengine。

• InfluxDB：應(yīng)用最廣泛，穩(wěn)定性高。劣勢(shì)是集群版不開源，需要付費(fèi)，性能不突出。
• OpenTSDB：基于HBase，擴(kuò)容方便。劣勢(shì)是壓縮比較低，存儲(chǔ)空間大。
• TDengine：性能強(qiáng)大，部署簡(jiǎn)單，集群版已開源，社區(qū)活躍，國(guó)內(nèi)產(chǎn)品。超級(jí)表的設(shè)計(jì)，與設(shè)備類型的概念完美契合，聚合查詢非常方便。劣勢(shì)是推出時(shí)間較短，產(chǎn)品比較年輕。

對(duì)比之后，我們最終選擇了TDengine Database這款性能出眾、潛力巨大的產(chǎn)品。通過(guò)充分的測(cè)試和驗(yàn)證，可以彌補(bǔ)劣勢(shì)。

技術(shù)架構(gòu)

我們使用TDengine Database存儲(chǔ)兩類數(shù)據(jù)：

• 原始的設(shè)備物聯(lián)數(shù)據(jù)。同類設(shè)備使用同一個(gè)超級(jí)表。
• 與業(yè)務(wù)有關(guān)聯(lián)的設(shè)備物聯(lián)數(shù)據(jù)，經(jīng)處理后再存入。同類業(yè)務(wù)使用同一個(gè)超級(jí)表。

物聯(lián)采集相關(guān)的架構(gòu)如下：

工控機(jī)是設(shè)備與物聯(lián)采集平臺(tái)之間的重要樞紐，根據(jù)設(shè)備管理模塊下發(fā)的配置，將各類設(shè)備的物聯(lián)數(shù)據(jù)轉(zhuǎn)化為統(tǒng)一的格式，加密后上報(bào)給物聯(lián)采集平臺(tái)。

物聯(lián)采集平臺(tái)接收到數(shù)據(jù)后，根據(jù)數(shù)據(jù)類型進(jìn)行分發(fā)。原始數(shù)據(jù)直接存入TDengine；部分類型的數(shù)據(jù)推送到Kafka或者是RabbitMQ中，經(jīng)業(yè)務(wù)處理后再存入TDengine。

使用體驗(yàn)

TDengine的寫入和查詢的效率非常高，平均在10ms以內(nèi)，性能完全滿足我們的要求。給人印象最深刻的是超強(qiáng)的數(shù)據(jù)壓縮能力，以某個(gè)客戶的數(shù)據(jù)情況為例：運(yùn)行一個(gè)月時(shí)間，產(chǎn)生約3.2億條記錄的數(shù)據(jù)，每條記錄包含約800列，實(shí)際占用的磁盤空間竟然不到30G。

問(wèn)題解決

在使用過(guò)程中，也遇到過(guò)些許問(wèn)題，例如部分?jǐn)?shù)據(jù)在超級(jí)表中可以正常查詢到，但是無(wú)法通過(guò)子表查詢到。

我們聯(lián)系了濤思數(shù)據(jù)的技術(shù)支持，濤思很快就協(xié)調(diào)了開發(fā)資源進(jìn)行問(wèn)題排查，甚至是通宵處理，最終定位到了原因：我們通過(guò)連接池的方式連接TDengine，并進(jìn)行較為頻繁的show tables操作，以測(cè)試連接是否正常，該頻繁操作最終觸發(fā)TDengine內(nèi)部的異常。發(fā)布新版本后該問(wèn)題得到解決，我們也減少了不必要的show tables操作。

非常感謝濤思數(shù)據(jù)的工程師，非常熱誠(chéng)，及時(shí)高效地幫助我們解決了問(wèn)題！

未來(lái)期望

TDengine是個(gè)年輕又充滿活力的產(chǎn)品，在工業(yè)物聯(lián)領(lǐng)域具有非常大的價(jià)值。

希望濤思數(shù)據(jù)在未來(lái)可以推出更友好的開發(fā)和運(yùn)維工具，也非常希望能在開源社區(qū)推出一個(gè)相對(duì)穩(wěn)定、兼容性較好的版本。