易永耀 夏杭泰 鄧煒興｜數(shù)益工聯(lián)

公司介紹

數(shù)益工聯(lián)致力于打造基于數(shù)據(jù)流+價值流的離散制造業(yè)數(shù)字化軟件；應用新一代的物聯(lián)網技術與豐富的現(xiàn)場交互手段，融合工業(yè)工程精益思想，為離散制造業(yè)客戶的數(shù)字化升級提供從規(guī)劃到實施落地的端到端工廠級解決方案；打造行業(yè)與客戶的工業(yè)數(shù)據(jù)平臺，持續(xù)提供數(shù)據(jù)智能服務。核心團隊來自清華大學等知名院校，同時擁有深厚的制造業(yè)精益運營管理能力和豐富的數(shù)字化工廠成功經驗。團隊以IE+IT為核心能力，實現(xiàn)產品和技術的雙輪驅動，旨在服務離散制造業(yè)客戶通過數(shù)字化顯著改善質量管理水平、提升企業(yè)生產效率、降低制造成本。

業(yè)務場景

工業(yè)設備物聯(lián)采集是數(shù)字化工廠建設的基礎，設備在運行過程中會產生大量有價值的數(shù)據(jù)，例如：設備狀態(tài)、實時工藝參數(shù)、合格報廢數(shù)量、生產節(jié)拍、異常報警信息等，設備物聯(lián)采集可以為后續(xù)的數(shù)據(jù)分析挖掘提供最基礎、透明、可靠的數(shù)據(jù)來源。

目前我們的客戶，其設備的主要特點是：

• 設備類型繁多，不同類設備的通訊接口、采集協(xié)議、采集參數(shù)各不相同
• 單個工廠的設備數(shù)量：幾十至幾千
• 單臺設備的采集參數(shù)數(shù)量：幾十至幾百
• 采集頻次的基本要求：每秒采集一次，支持變化上報
• 參數(shù)類型包含：數(shù)值、文本

我們對自研工業(yè)物聯(lián)采集平臺的定位是：可對物聯(lián)數(shù)據(jù)進行采集、存儲和查詢，可用于單個工廠或多個工廠的設備物聯(lián)采集。

需要支持的特性：

• 功能穩(wěn)定
• 高效的數(shù)據(jù)寫入
• 高效的數(shù)據(jù)查詢，包括最新數(shù)據(jù)和歷史數(shù)據(jù)
• 可云化部署
• 可私有化部署
• 線性擴展
• 高可用
• 便于連接大數(shù)據(jù)平臺

不需要支持的特性：

• 修改/刪除數(shù)據(jù)
• 數(shù)據(jù)分析

技術選型

基于業(yè)務場景的需求，我們選擇時序數(shù)據(jù)庫（Time-Series Database）作為物聯(lián)采集平臺的核心組件，并調研了幾款產品：InfluxDB、OpenTSDB和TDengine。

• InfluxDB：應用最廣泛，穩(wěn)定性高。劣勢是集群版不開源，需要付費，性能不突出。
• OpenTSDB：基于HBase，擴容方便。劣勢是壓縮比較低，存儲空間大。
• TDengine：性能強大，部署簡單，集群版已開源，社區(qū)活躍，國內產品。超級表的設計，與設備類型的概念完美契合，聚合查詢非常方便。劣勢是推出時間較短，產品比較年輕。

對比之后，我們最終選擇了TDengine Database這款性能出眾、潛力巨大的產品。通過充分的測試和驗證，可以彌補劣勢。

技術架構

我們使用TDengine Database存儲兩類數(shù)據(jù)：

• 原始的設備物聯(lián)數(shù)據(jù)。同類設備使用同一個超級表。
• 與業(yè)務有關聯(lián)的設備物聯(lián)數(shù)據(jù)，經處理后再存入。同類業(yè)務使用同一個超級表。

物聯(lián)采集相關的架構如下：

工控機是設備與物聯(lián)采集平臺之間的重要樞紐，根據(jù)設備管理模塊下發(fā)的配置，將各類設備的物聯(lián)數(shù)據(jù)轉化為統(tǒng)一的格式，加密后上報給物聯(lián)采集平臺。

物聯(lián)采集平臺接收到數(shù)據(jù)后，根據(jù)數(shù)據(jù)類型進行分發(fā)。原始數(shù)據(jù)直接存入TDengine；部分類型的數(shù)據(jù)推送到Kafka或者是RabbitMQ中，經業(yè)務處理后再存入TDengine。

使用體驗

TDengine的寫入和查詢的效率非常高，平均在10ms以內，性能完全滿足我們的要求。給人印象最深刻的是超強的數(shù)據(jù)壓縮能力，以某個客戶的數(shù)據(jù)情況為例：運行一個月時間，產生約3.2億條記錄的數(shù)據(jù)，每條記錄包含約800列，實際占用的磁盤空間竟然不到30G。

問題解決

在使用過程中，也遇到過些許問題，例如部分數(shù)據(jù)在超級表中可以正常查詢到，但是無法通過子表查詢到。

我們聯(lián)系了濤思數(shù)據(jù)的技術支持，濤思很快就協(xié)調了開發(fā)資源進行問題排查，甚至是通宵處理，最終定位到了原因：我們通過連接池的方式連接TDengine，并進行較為頻繁的show tables操作，以測試連接是否正常，該頻繁操作最終觸發(fā)TDengine內部的異常。發(fā)布新版本后該問題得到解決，我們也減少了不必要的show tables操作。

非常感謝濤思數(shù)據(jù)的工程師，非常熱誠，及時高效地幫助我們解決了問題！

未來期望

TDengine是個年輕又充滿活力的產品，在工業(yè)物聯(lián)領域具有非常大的價值。

希望濤思數(shù)據(jù)在未來可以推出更友好的開發(fā)和運維工具，也非常希望能在開源社區(qū)推出一個相對穩(wěn)定、兼容性較好的版本。