小T導讀：江蘇金恒信息科技股份有限公司（以下簡稱“金恒科技”）專注于為工業(yè)企業(yè)提供工業(yè)軟件及智能化整體解決方案，服務領域涵蓋鋼鐵、有色金屬、石化、電子制造等多個行業(yè)。早在 2021 年，金恒科技便在多個業(yè)務系統(tǒng)中部署了 TDengine TSDB 2.x 版本。隨著 TDengine TSDB 3.x 的發(fā)布，金恒科技陸續(xù)完成了系統(tǒng)升級至 3.0 版本，在性能、功能和穩(wěn)定性方面均得到進一步提升。升級后系統(tǒng)整體性能提升約 3 倍，存儲成本降低約 80%。本文將重點介紹 TDengine TSDB 在鋼鐵行業(yè)智能制造項目中的具體應用實踐。

背景和痛點

金恒科技的智能制造項目覆蓋鋼鐵生產(chǎn)的全流程數(shù)據(jù)采集與分析，包括高爐、軋機及各類傳感器的實時監(jiān)測，監(jiān)控指標涵蓋溫度、壓力、振動等關鍵參數(shù)。系統(tǒng)每日處理約 350 億條數(shù)據(jù)點，需同時支持實時查詢、歷史分析與異常告警。

項目面臨的核心挑戰(zhàn)包括：

• 數(shù)據(jù)量激增：傳統(tǒng)數(shù)據(jù)庫在處理億級時序數(shù)據(jù)時，查詢延遲顯著、存儲成本高昂；
• 復雜查詢需求：需支持多維度聚合查詢和跨表關聯(lián)，傳統(tǒng)數(shù)據(jù)庫性能瓶頸明顯；
• 運維復雜性高：原有系統(tǒng)需大量服務器資源，運維成本高，擴展性差。

為應對上述挑戰(zhàn)，我們決定引入高性能時序數(shù)據(jù)庫。TDengine TSDB 以其高壓縮比、原生 SQL 支持和集群部署能力，成為首選解決方案。

選擇 TDengine TSDB 的原因

在選型過程中，我們的目標非常明確：一是追求高性能，要能支撐億級數(shù)據(jù)點的高速寫入與查詢；二是實現(xiàn)低成本，在保證性能的同時顯著降低存儲和服務器資源消耗；三是強調(diào)易用性，要求系統(tǒng)支持標準 SQL，從而降低開發(fā)與運維的復雜度；最后是確保高可用性，能夠通過集群部署保障系統(tǒng)在長周期運行中的穩(wěn)定與可靠。

在正式引入前，我們對業(yè)界主流的三款時序數(shù)據(jù)庫——InfluxDB、TimescaleDB 和 TDengine TSDB 進行了相關調(diào)研。結果如下：

• InfluxDB：查詢性能尚可，但存儲壓縮比低，成本較高；不支持標準 SQL，開發(fā)復雜。
• TimescaleDB：基于 PostgreSQL，SQL 支持較好，但高并發(fā)寫入性能不足，集群部署復雜。
• TDengine TSDB：高壓縮比（10:1），支持標準 SQL，內(nèi)置緩存和多級存儲，集群部署簡單，運維成本低。

綜合對比后，我們發(fā)現(xiàn) TDengine TSDB 在性能與可維護性之間實現(xiàn)了最佳平衡，顯然是我們的最優(yōu)選擇。

TDengine TSDB 應用經(jīng)驗分享

重點使用功能—多級存儲

在工業(yè)互聯(lián)網(wǎng)中，數(shù)據(jù)多級存儲至關重要，因為它能夠根據(jù)數(shù)據(jù)的價值和使用頻率，將數(shù)據(jù)有效地分配到不同的存儲介質上。這樣的策略不僅有助于應對海量數(shù)據(jù)的挑戰(zhàn)，優(yōu)化存儲資源，降低成本，還能確保數(shù)據(jù)的安全性和合規(guī)性，同時促進數(shù)據(jù)的共享和流通，從而提高整個工業(yè)系統(tǒng)的效率和響應速度。

在使用企業(yè)版之前，我們就已經(jīng)開始使用社區(qū)版本的 TDengine TSDB 了，對其架構與特性有較深入的了解。因此在規(guī)劃集群存儲架構時，我們就決定采用 SSD + HDD 的多級存儲方案：將近期數(shù)據(jù)存放在 SSD 上，以顯著提升數(shù)據(jù)寫入與查詢性能。同時，TDengine 支持靈活的分層數(shù)據(jù)保留策略，每一層的保留時間都可動態(tài)調(diào)整——只需通過一條 ALTER 命令修改數(shù)據(jù)庫的 KEEP 參數(shù)即可即時生效，極大地方便了運維管理。

在當前架構中，我們將數(shù)據(jù)劃分為四個層級進行存儲：

• 熱數(shù)據(jù)（Hot Data）：存儲在 RAM（內(nèi)存）中，通常指的是最近一小時內(nèi)的數(shù)據(jù)。這部分數(shù)據(jù)訪問頻率高，需要快速讀寫。
• 溫數(shù)據(jù)（Warm Data）：存儲在 SSD（Tier 0）上，涵蓋最近 10 天內(nèi)的數(shù)據(jù)。相比熱數(shù)據(jù)，溫數(shù)據(jù)的訪問頻率較低，但仍需較快的讀取速度。
• 冷數(shù)據(jù)（Cold Data）：存儲在 HDD（Tier 1）上，包括最近 6 個月的數(shù)據(jù)。這類數(shù)據(jù)訪問頻率進一步降低，可以使用成本更低的存儲介質。
• 凍結數(shù)據(jù)（Frozen Data）：存儲在 S3（Tier 2）上，通常是最近 3 年的數(shù)據(jù)。這部分數(shù)據(jù)訪問頻率最低，適合長期存儲。

重點使用功能—內(nèi)置函數(shù)

TDengine TSDB 內(nèi)置了豐富的函數(shù)庫，我們在實際業(yè)務中也充分利用了其中的多種函數(shù)來滿足不同的場景需求。 例如，interp() 函數(shù)在我們的應用中就發(fā)揮了重要作用。它可用于在指定的時間斷面上獲取某一列的記錄值；當該時間點不存在符合條件的數(shù)據(jù)時，系統(tǒng)會根據(jù) FILL 參數(shù)的設置自動進行插值，從而保證數(shù)據(jù)的連續(xù)性與完整性。

• 在 2017-07-14 18:00:00 到 2017-07-14 19:00:00 間每隔 5 秒鐘進行線性插值

SELECT INTERP(current) FROM t1 RANGE('2017-7-14 18:00:00','2017-7-14 19:00:00') EVERY(5s) FILL(LINEAR);

• 在所有時間范圍內(nèi)每隔 5 秒鐘進行向后插值

 SELECT INTERP(current) FROM t1 EVERY(5s) FILL(NEXT);

• 根據(jù) 2017-07-14 17:00:00 到 2017-07-14 20:00:00 間的數(shù)據(jù)進行從 2017-07-14 18:00:00 到 2017-07-14 19:00:00 間每隔 5 秒鐘進行線性插值

SELECT INTERP(current) FROM t1 where ts >= '2017-07-14 17:00:00' and ts <= '2017-07-14 20:00:00' RANGE('2017-7-14 18:00:00', '2017-7-14 19:00:00') EVERY(5s) FILL(LINEAR);

TDengine TSDB 的落地實踐

在我們的智能制造平臺中，我們將 TDengine TSDB 作為核心的時序數(shù)據(jù)存儲，與 Data Acquisition 數(shù)據(jù)采集系統(tǒng)、RuleEngine 規(guī)則引擎以及前端可視化系統(tǒng)深度集成，實現(xiàn)了從數(shù)據(jù)采集、存儲、分析到展示的完整閉環(huán)。

落地效果

1. 寫入性能：支持 200 萬條/秒寫入，滿足實時數(shù)據(jù)采集需求。
2. 查詢性能：最新數(shù)據(jù)查詢達到 10 ms 級別，支持復雜聚合查詢。
3. 訂閱功能：通過 TDengine TSDB 的訂閱機制，實時推送異常數(shù)據(jù)至告警系統(tǒng)。
4. 多級存儲：企業(yè)版支持熱/溫/冷存儲，90% 數(shù)據(jù)存儲在低成本冷存儲中，降低成本。

業(yè)務場景與收益

• 實時監(jiān)控：支持 10,000 臺設備實時數(shù)據(jù)展示，響應時間 < 200ms。
• 故障預測：通過振動數(shù)據(jù)分析，故障預測準確率提升 20%。
• 能耗分析：日均能耗分析時間從 10 分鐘縮短至 2 分鐘。
• 收益：節(jié)省存儲和運維成本，系統(tǒng)可用性提升至 99%。

問題與優(yōu)化

在 2021 年測試 TDengine TSDB 2.x 版本時，我們發(fā)現(xiàn) TDengine TSDB 在以下幾個功能上還不支持，希望 其未來能夠新增這幾個功能，經(jīng)過與官方支持人員的討論，他們認為這幾個需求完全合理，TDengine 也快速進行了功能開發(fā)，并在新版本中進行了發(fā)布。理解、聽取用戶的建議非常重要，不僅可以完善產(chǎn)品的的功能，也讓用戶使用更加方便，這使我們更加堅定了使用 TDengine TSDB 的信心。這幾個功能分別是：

1. 支持動態(tài)增加 binary、nchar 數(shù)據(jù)類型的列長度

TDengine TSDB 支持 BINARY 和 NCHAR 兩種字符串類型，但在 2.0 早期版本中，超級表一旦創(chuàng)建后，如果某些列（包括數(shù)據(jù)列和 TAG 列）的長度設置偏小，就無法動態(tài)調(diào)整，這在使用中帶來了一定限制。TDengine 研發(fā)團隊在短時間內(nèi)就完成了功能優(yōu)化，實現(xiàn)了動態(tài)調(diào)整字符串列長度的能力。

2. 2.x 版本 SQL 增強——支持 in 語法

在早期版本中，TDengine TSDB 尚不支持 IN 語句，我們只能通過多個 OR 條件來實現(xiàn)過濾查詢。經(jīng)過后續(xù)版本的優(yōu)化，TDengine TSDB 已全面支持 普通列的 IN 查詢、TAG 列的 IN 查詢，以及 NOT IN 查詢，讓 SQL 在使用上更加便利。

3. INTERP 函數(shù)增加對 BOOL 類型的支持

INTERP 函數(shù)用于在指定時間斷面獲取指定列的記錄值，當該時間斷面沒有符合條件的行數(shù)據(jù)時，會根據(jù) FILL 參數(shù)自動進行插值。在 2.x 版本中，該函數(shù)尚不支持對 BOOL 類型數(shù)據(jù)的插值，而在 3.0 版本中，這一限制已被優(yōu)化，現(xiàn)可對 BOOL 類型字段執(zhí)行插值操作：

未來展望

將 TDengine TSDB 應用于我們的實際業(yè)務系統(tǒng)后，系統(tǒng)的數(shù)據(jù)處理性能和維護效率都得到了顯著提升。未來，我們將持續(xù)關注 TDengine TSDB 的版本更新與功能演進，深入挖掘其在更多業(yè)務場景中的應用潛力，不斷優(yōu)化系統(tǒng)架構和數(shù)據(jù)管理能力。

關于金恒科技

金恒科技秉承“數(shù)字化轉型生態(tài)構建者”的企業(yè)愿景，融合新一代信息技術，圍繞運營智慧化和生產(chǎn)智能化兩大業(yè)務方向，全面提供集團管控、產(chǎn)銷質財一體化以及覆蓋鋼鐵全流程的數(shù)字工廠產(chǎn)品，同時在規(guī)劃咨詢、產(chǎn)線集控、智能裝備方面提供企業(yè)數(shù)字化轉型整體解決方案?？蛻舾采w鋼鐵、礦山、環(huán)保、石化等行業(yè)，遍布國內(nèi) 20 多個省市，擁有南京鋼鐵、中信特鋼、中國寶武、鞍山鋼鐵、海南礦業(yè)、中荷環(huán)保、揚子石化等上百家行業(yè)重點客戶。

作者 | 金恒科技 薛燦