小T導(dǎo)讀：江蘇金恒信息科技股份有限公司（以下簡稱“金恒科技”）專注于為工業(yè)企業(yè)提供工業(yè)軟件及智能化整體解決方案，服務(wù)領(lǐng)域涵蓋鋼鐵、有色金屬、石化、電子制造等多個行業(yè)。早在 2021 年，金恒科技便在多個業(yè)務(wù)系統(tǒng)中部署了 TDengine TSDB 2.x 版本。隨著 TDengine TSDB 3.x 的發(fā)布，金恒科技陸續(xù)完成了系統(tǒng)升級至 3.0 版本，在性能、功能和穩(wěn)定性方面均得到進(jìn)一步提升。升級后系統(tǒng)整體性能提升約 3 倍，存儲成本降低約 80%。本文將重點(diǎn)介紹 TDengine TSDB 在鋼鐵行業(yè)智能制造項(xiàng)目中的具體應(yīng)用實(shí)踐。

背景和痛點(diǎn)

金恒科技的智能制造項(xiàng)目覆蓋鋼鐵生產(chǎn)的全流程數(shù)據(jù)采集與分析，包括高爐、軋機(jī)及各類傳感器的實(shí)時(shí)監(jiān)測，監(jiān)控指標(biāo)涵蓋溫度、壓力、振動等關(guān)鍵參數(shù)。系統(tǒng)每日處理約 350 億條數(shù)據(jù)點(diǎn)，需同時(shí)支持實(shí)時(shí)查詢、歷史分析與異常告警。

項(xiàng)目面臨的核心挑戰(zhàn)包括：

• 數(shù)據(jù)量激增：傳統(tǒng)數(shù)據(jù)庫在處理億級時(shí)序數(shù)據(jù)時(shí)，查詢延遲顯著、存儲成本高昂；
• 復(fù)雜查詢需求：需支持多維度聚合查詢和跨表關(guān)聯(lián)，傳統(tǒng)數(shù)據(jù)庫性能瓶頸明顯；
• 運(yùn)維復(fù)雜性高：原有系統(tǒng)需大量服務(wù)器資源，運(yùn)維成本高，擴(kuò)展性差。

為應(yīng)對上述挑戰(zhàn)，我們決定引入高性能時(shí)序數(shù)據(jù)庫。TDengine TSDB 以其高壓縮比、原生 SQL 支持和集群部署能力，成為首選解決方案。

選擇 TDengine TSDB 的原因

在選型過程中，我們的目標(biāo)非常明確：一是追求高性能，要能支撐億級數(shù)據(jù)點(diǎn)的高速寫入與查詢；二是實(shí)現(xiàn)低成本，在保證性能的同時(shí)顯著降低存儲和服務(wù)器資源消耗；三是強(qiáng)調(diào)易用性，要求系統(tǒng)支持標(biāo)準(zhǔn) SQL，從而降低開發(fā)與運(yùn)維的復(fù)雜度；最后是確保高可用性，能夠通過集群部署保障系統(tǒng)在長周期運(yùn)行中的穩(wěn)定與可靠。

在正式引入前，我們對業(yè)界主流的三款時(shí)序數(shù)據(jù)庫——InfluxDB、TimescaleDB 和 TDengine TSDB 進(jìn)行了相關(guān)調(diào)研。結(jié)果如下：

• InfluxDB：查詢性能尚可，但存儲壓縮比低，成本較高；不支持標(biāo)準(zhǔn) SQL，開發(fā)復(fù)雜。
• TimescaleDB：基于 PostgreSQL，SQL 支持較好，但高并發(fā)寫入性能不足，集群部署復(fù)雜。
• TDengine TSDB：高壓縮比（10:1），支持標(biāo)準(zhǔn) SQL，內(nèi)置緩存和多級存儲，集群部署簡單，運(yùn)維成本低。

綜合對比后，我們發(fā)現(xiàn) TDengine TSDB 在性能與可維護(hù)性之間實(shí)現(xiàn)了最佳平衡，顯然是我們的最優(yōu)選擇。

TDengine TSDB 應(yīng)用經(jīng)驗(yàn)分享

重點(diǎn)使用功能—多級存儲

在工業(yè)互聯(lián)網(wǎng)中，數(shù)據(jù)多級存儲至關(guān)重要，因?yàn)樗軌蚋鶕?jù)數(shù)據(jù)的價(jià)值和使用頻率，將數(shù)據(jù)有效地分配到不同的存儲介質(zhì)上。這樣的策略不僅有助于應(yīng)對海量數(shù)據(jù)的挑戰(zhàn)，優(yōu)化存儲資源，降低成本，還能確保數(shù)據(jù)的安全性和合規(guī)性，同時(shí)促進(jìn)數(shù)據(jù)的共享和流通，從而提高整個工業(yè)系統(tǒng)的效率和響應(yīng)速度。

在使用企業(yè)版之前，我們就已經(jīng)開始使用社區(qū)版本的 TDengine TSDB 了，對其架構(gòu)與特性有較深入的了解。因此在規(guī)劃集群存儲架構(gòu)時(shí)，我們就決定采用 SSD + HDD 的多級存儲方案：將近期數(shù)據(jù)存放在 SSD 上，以顯著提升數(shù)據(jù)寫入與查詢性能。同時(shí)，TDengine 支持靈活的分層數(shù)據(jù)保留策略，每一層的保留時(shí)間都可動態(tài)調(diào)整——只需通過一條 ALTER 命令修改數(shù)據(jù)庫的 KEEP 參數(shù)即可即時(shí)生效，極大地方便了運(yùn)維管理。

在當(dāng)前架構(gòu)中，我們將數(shù)據(jù)劃分為四個層級進(jìn)行存儲：

• 熱數(shù)據(jù)（Hot Data）：存儲在 RAM（內(nèi)存）中，通常指的是最近一小時(shí)內(nèi)的數(shù)據(jù)。這部分?jǐn)?shù)據(jù)訪問頻率高，需要快速讀寫。
• 溫?cái)?shù)據(jù)（Warm Data）：存儲在 SSD（Tier 0）上，涵蓋最近 10 天內(nèi)的數(shù)據(jù)。相比熱數(shù)據(jù)，溫?cái)?shù)據(jù)的訪問頻率較低，但仍需較快的讀取速度。
• 冷數(shù)據(jù)（Cold Data）：存儲在 HDD（Tier 1）上，包括最近 6 個月的數(shù)據(jù)。這類數(shù)據(jù)訪問頻率進(jìn)一步降低，可以使用成本更低的存儲介質(zhì)。
• 凍結(jié)數(shù)據(jù)（Frozen Data）：存儲在 S3（Tier 2）上，通常是最近 3 年的數(shù)據(jù)。這部分?jǐn)?shù)據(jù)訪問頻率最低，適合長期存儲。

重點(diǎn)使用功能—內(nèi)置函數(shù)

TDengine TSDB 內(nèi)置了豐富的函數(shù)庫，我們在實(shí)際業(yè)務(wù)中也充分利用了其中的多種函數(shù)來滿足不同的場景需求。 例如，interp() 函數(shù)在我們的應(yīng)用中就發(fā)揮了重要作用。它可用于在指定的時(shí)間斷面上獲取某一列的記錄值；當(dāng)該時(shí)間點(diǎn)不存在符合條件的數(shù)據(jù)時(shí)，系統(tǒng)會根據(jù) FILL 參數(shù)的設(shè)置自動進(jìn)行插值，從而保證數(shù)據(jù)的連續(xù)性與完整性。

• 在 2017-07-14 18:00:00 到 2017-07-14 19:00:00 間每隔 5 秒鐘進(jìn)行線性插值

SELECT INTERP(current) FROM t1 RANGE('2017-7-14 18:00:00','2017-7-14 19:00:00') EVERY(5s) FILL(LINEAR);

• 在所有時(shí)間范圍內(nèi)每隔 5 秒鐘進(jìn)行向后插值

 SELECT INTERP(current) FROM t1 EVERY(5s) FILL(NEXT);

• 根據(jù) 2017-07-14 17:00:00 到 2017-07-14 20:00:00 間的數(shù)據(jù)進(jìn)行從 2017-07-14 18:00:00 到 2017-07-14 19:00:00 間每隔 5 秒鐘進(jìn)行線性插值

SELECT INTERP(current) FROM t1 where ts >= '2017-07-14 17:00:00' and ts <= '2017-07-14 20:00:00' RANGE('2017-7-14 18:00:00', '2017-7-14 19:00:00') EVERY(5s) FILL(LINEAR);

TDengine TSDB 的落地實(shí)踐

在我們的智能制造平臺中，我們將 TDengine TSDB 作為核心的時(shí)序數(shù)據(jù)存儲，與 Data Acquisition 數(shù)據(jù)采集系統(tǒng)、RuleEngine 規(guī)則引擎以及前端可視化系統(tǒng)深度集成，實(shí)現(xiàn)了從數(shù)據(jù)采集、存儲、分析到展示的完整閉環(huán)。

落地效果

1. 寫入性能：支持 200 萬條/秒寫入，滿足實(shí)時(shí)數(shù)據(jù)采集需求。
2. 查詢性能：最新數(shù)據(jù)查詢達(dá)到 10 ms 級別，支持復(fù)雜聚合查詢。
3. 訂閱功能：通過 TDengine TSDB 的訂閱機(jī)制，實(shí)時(shí)推送異常數(shù)據(jù)至告警系統(tǒng)。
4. 多級存儲：企業(yè)版支持熱/溫/冷存儲，90% 數(shù)據(jù)存儲在低成本冷存儲中，降低成本。

業(yè)務(wù)場景與收益

• 實(shí)時(shí)監(jiān)控：支持 10,000 臺設(shè)備實(shí)時(shí)數(shù)據(jù)展示，響應(yīng)時(shí)間 < 200ms。
• 故障預(yù)測：通過振動數(shù)據(jù)分析，故障預(yù)測準(zhǔn)確率提升 20%。
• 能耗分析：日均能耗分析時(shí)間從 10 分鐘縮短至 2 分鐘。
• 收益：節(jié)省存儲和運(yùn)維成本，系統(tǒng)可用性提升至 99%。

問題與優(yōu)化

在 2021 年測試 TDengine TSDB 2.x 版本時(shí)，我們發(fā)現(xiàn) TDengine TSDB 在以下幾個功能上還不支持，希望 其未來能夠新增這幾個功能，經(jīng)過與官方支持人員的討論，他們認(rèn)為這幾個需求完全合理，TDengine 也快速進(jìn)行了功能開發(fā)，并在新版本中進(jìn)行了發(fā)布。理解、聽取用戶的建議非常重要，不僅可以完善產(chǎn)品的的功能，也讓用戶使用更加方便，這使我們更加堅(jiān)定了使用 TDengine TSDB 的信心。這幾個功能分別是：

1. 支持動態(tài)增加 binary、nchar 數(shù)據(jù)類型的列長度

TDengine TSDB 支持 BINARY 和 NCHAR 兩種字符串類型，但在 2.0 早期版本中，超級表一旦創(chuàng)建后，如果某些列（包括數(shù)據(jù)列和 TAG 列）的長度設(shè)置偏小，就無法動態(tài)調(diào)整，這在使用中帶來了一定限制。TDengine 研發(fā)團(tuán)隊(duì)在短時(shí)間內(nèi)就完成了功能優(yōu)化，實(shí)現(xiàn)了動態(tài)調(diào)整字符串列長度的能力。

2. 2.x 版本 SQL 增強(qiáng)——支持 in 語法

在早期版本中，TDengine TSDB 尚不支持 IN 語句，我們只能通過多個 OR 條件來實(shí)現(xiàn)過濾查詢。經(jīng)過后續(xù)版本的優(yōu)化，TDengine TSDB 已全面支持 普通列的 IN 查詢、TAG 列的 IN 查詢，以及 NOT IN 查詢，讓 SQL 在使用上更加便利。

3. INTERP 函數(shù)增加對 BOOL 類型的支持

INTERP 函數(shù)用于在指定時(shí)間斷面獲取指定列的記錄值，當(dāng)該時(shí)間斷面沒有符合條件的行數(shù)據(jù)時(shí)，會根據(jù) FILL 參數(shù)自動進(jìn)行插值。在 2.x 版本中，該函數(shù)尚不支持對 BOOL 類型數(shù)據(jù)的插值，而在 3.0 版本中，這一限制已被優(yōu)化，現(xiàn)可對 BOOL 類型字段執(zhí)行插值操作：

未來展望

將 TDengine TSDB 應(yīng)用于我們的實(shí)際業(yè)務(wù)系統(tǒng)后，系統(tǒng)的數(shù)據(jù)處理性能和維護(hù)效率都得到了顯著提升。未來，我們將持續(xù)關(guān)注 TDengine TSDB 的版本更新與功能演進(jìn)，深入挖掘其在更多業(yè)務(wù)場景中的應(yīng)用潛力，不斷優(yōu)化系統(tǒng)架構(gòu)和數(shù)據(jù)管理能力。

關(guān)于金恒科技

金恒科技秉承“數(shù)字化轉(zhuǎn)型生態(tài)構(gòu)建者”的企業(yè)愿景，融合新一代信息技術(shù)，圍繞運(yùn)營智慧化和生產(chǎn)智能化兩大業(yè)務(wù)方向，全面提供集團(tuán)管控、產(chǎn)銷質(zhì)財(cái)一體化以及覆蓋鋼鐵全流程的數(shù)字工廠產(chǎn)品，同時(shí)在規(guī)劃咨詢、產(chǎn)線集控、智能裝備方面提供企業(yè)數(shù)字化轉(zhuǎn)型整體解決方案?？蛻舾采w鋼鐵、礦山、環(huán)保、石化等行業(yè)，遍布國內(nèi) 20 多個省市，擁有南京鋼鐵、中信特鋼、中國寶武、鞍山鋼鐵、海南礦業(yè)、中荷環(huán)保、揚(yáng)子石化等上百家行業(yè)重點(diǎn)客戶。

作者 | 金恒科技 薛燦