小 T 導(dǎo)讀：格創(chuàng)東智科技有限公司成立于 2018 年，孵化于中國 500 強(qiáng)企業(yè) TCL，是我國知名的工業(yè)互聯(lián)網(wǎng)平臺服務(wù)商。公司依托 TCL 集團(tuán) 40 年工業(yè)場景和制造基因沉淀，基于“面向工業(yè)現(xiàn)場”的研發(fā)方向和“連接、協(xié)同、共享”的發(fā)展理念，深度融合人工智能、大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)等前沿技術(shù)，為智能工廠和制造業(yè)園區(qū)打造的數(shù)字化能源管理方案，可廣泛應(yīng)用于多個垂直行業(yè)，運行監(jiān)控、能效管理、智能分析、運維管理、能源采購、碳排放管理等數(shù)十個功能模塊，實現(xiàn)完善的能源管理價值閉環(huán)，建立數(shù)字化能源&碳計量體系，智慧化用能及碳管理系統(tǒng)，打造涵蓋企業(yè)碳追蹤、碳計量、碳管理、碳中和的一站式解決方案。

TCL 空調(diào)能源數(shù)據(jù)管理平臺對工廠電、水、天然氣、油等指標(biāo)進(jìn)行實時采集、動態(tài)監(jiān)測，并以時間維度、廠家、車間、生產(chǎn)線類型、生產(chǎn)線、設(shè)備等維度進(jìn)行分析、節(jié)能計量、計費、成本核算、進(jìn)行行業(yè)對標(biāo)、生成分析報告等，實現(xiàn)企業(yè)能源精細(xì)化管理，促進(jìn)節(jié)能降耗；實時監(jiān)控用戶的用能安全數(shù)據(jù)，及時向安全管理人員發(fā)送報警信息，指導(dǎo)其開展隱患治理，為幫助企業(yè)實施用能安全及能源管理提供信息化服務(wù)。

G-Things 是我們的應(yīng)用智能平臺產(chǎn)品家族的物聯(lián)網(wǎng)平臺，我們先來看一下在該平臺上的數(shù)據(jù)流轉(zhuǎn)情況。

工業(yè)設(shè)備會將數(shù)據(jù)上報到平臺數(shù)據(jù)接入網(wǎng)關(guān)，然后接入網(wǎng)關(guān)負(fù)責(zé)解析報文，并過濾掉非法數(shù)據(jù)報文，之后再將數(shù)據(jù)下發(fā)到 Apache Kafka 消息中間件，由平臺實時處理、持久化服務(wù)進(jìn)行消費，持久化服務(wù)會把最新數(shù)據(jù)寫入 Redis，并將數(shù)據(jù)持久化到時序數(shù)據(jù)庫（Time-Series Database）。對于平臺存儲架構(gòu)，設(shè)計上支持 OpenTSDB、ClickHouse、TDengine 等時序數(shù)據(jù)庫的切換，我們要根據(jù)項目實際情況來選型。

一、存儲方案選型

我們看一下能源行業(yè)數(shù)據(jù)的特性：

• 數(shù)據(jù)的時序性：設(shè)備源源不斷地產(chǎn)生數(shù)據(jù)，這些數(shù)據(jù)會帶著時間戳上報到平臺
• 數(shù)據(jù)流量穩(wěn)定：上報頻率比較穩(wěn)定，采集頻率在 30 秒一次
• 數(shù)據(jù)是數(shù)值類型：是一些使用累計量、電流、電流、壓力之類的數(shù)據(jù)
• 數(shù)據(jù)不存在變更：數(shù)據(jù)是記錄某一時刻的采集表記數(shù)據(jù)，上報無需更新或刪除
• 數(shù)據(jù)的聚合及分析基于時間維度、空間維度：時間維度有年、月、周、日、時，最短 15 分鐘統(tǒng)計一次，空間維度有廠家、車間、生產(chǎn)線類型、生產(chǎn)線、設(shè)備等
• 數(shù)據(jù)量大：按一個工廠 4 萬表記計算，每 30 秒鐘一筆數(shù)據(jù)，一天采集的數(shù)據(jù)會超過 1 億條

基于能源行業(yè)的數(shù)據(jù)特性，我們要在平臺支持的 OpenTSDB、ClickHouse 和 TDengine 這 3 個時序數(shù)據(jù)庫存儲引擎中作出選擇。下面是一個對比：

1. OpenTSDB：依賴 HBase、HDFS 和 ZooKeeper 等組件，硬件資源要求高、成本高，在查詢時間跨度較大時，性能驟降，另外對聚合分析查詢支持不好。
2. ClickHouse：在數(shù)據(jù)存儲、跨時間段查詢及數(shù)據(jù)聚合分析查詢等方面，都滿足我們的所有選型要求，但是運維成本太高，擴(kuò)展過于復(fù)雜，使用的資源較多。
3. TDengine：在數(shù)據(jù)存儲、數(shù)據(jù)分析查詢等方面都滿足我們的需求，并且集群版也開源了，支持橫向擴(kuò)展，占用資源少，在客戶有限的資源條件下，是存儲引擎最優(yōu)的選擇。

經(jīng)過以上對比，我們選擇了將 TDengine 作為自己的存儲引擎。

二、TDengine 時序數(shù)據(jù)庫建模

TDengine Database 有兩個很獨特的創(chuàng)新，一個是“一個數(shù)據(jù)采集點一張表”，一個是“超級表”。所以在設(shè)計數(shù)據(jù)模型時，就要考慮業(yè)務(wù)模型怎么映射到超級表和具體的表。 先來看超級表。 根據(jù)TDengine 數(shù)據(jù)庫的特性，我們將電表、水表、石油氣表、氧氣表，對每個類型的數(shù)據(jù)采集點創(chuàng)建一個超級表。以創(chuàng)建電表為例：

再來看普通表。 每個數(shù)據(jù)采集點需要獨立建表。與標(biāo)準(zhǔn)的關(guān)系型數(shù)據(jù)庫一樣，一張表有表名，Schema，但除此之外，還可以帶有一到多個標(biāo)簽。

三、實際應(yīng)用總結(jié)

項目上線半年以來，一直平穩(wěn)運行。 在 TCL 空調(diào)能源管理項目中，我們使用的硬件資源明顯減少，同選用 ClickHouse 集群作為存儲的 TCL 電子工業(yè)物聯(lián)網(wǎng)平臺對比，兩個項目的數(shù)據(jù)規(guī)模差不多，TCL 空調(diào)能源管理項目數(shù)據(jù)庫服務(wù)器減少了一半。 我們以組態(tài)視圖的方式實現(xiàn)了各系統(tǒng)運營參數(shù)可視化監(jiān)控與實時查詢，實現(xiàn)了完整的能源數(shù)字化管理解決方案，提高了運營管理決策的效率。通過電、水、石油、天然氣使用分析，對工廠能源結(jié)構(gòu)優(yōu)化和節(jié)能降耗，實現(xiàn)降能耗 5% 左右，預(yù)計每年為 TCL 空調(diào)實現(xiàn)降本收益上千萬元。

在使用 TDengine Database 的過程中，我們也總結(jié)出一些經(jīng)驗。 比如，TDengine 提供最后一條記錄的緩存，通過 last_row 函數(shù)可以快速獲取實時數(shù)據(jù)。平臺在使用 TDengine 之前，用 Redis 來緩存最新的一筆數(shù)據(jù)，而大量的寫入 Redis 對性能會有一定的影響，現(xiàn)在用 TDengine cache 代替 Redis 緩存，可以完美解決這個問題。 另外，在使用過程中，TDengine 的技術(shù)專家也提供了很多支持。TDengine 有自己的技術(shù)交流微信群，非常活躍，很多技術(shù)問題都有濤思數(shù)據(jù)的專家親自答復(fù)，響應(yīng)非?？焖佟?/p>

作者簡介

許海軍，目前負(fù)責(zé) TCL AIoT 平臺整體技術(shù)架構(gòu)開發(fā)，主要從事工業(yè)互聯(lián)網(wǎng)、大數(shù)據(jù)系統(tǒng)開發(fā)，曾參與廣東示范級工業(yè)互聯(lián)網(wǎng)平臺建設(shè)等工作。