背景和痛點

MES 系統(tǒng)在持續(xù)擴(kuò)展和深度應(yīng)用的過程中，出現(xiàn)了系統(tǒng)穩(wěn)定性差，數(shù)據(jù)采集系統(tǒng)異常等情況，主要體現(xiàn)在以下幾個方面：

1. 維護(hù)成本高，擴(kuò)展能力差

Wonderware 平臺按年收取維護(hù)費用，采用按組件和授權(quán)等級計費的模式，且不支持一次性買斷，軟件升級也需額外付費，整體成本高昂。由于版本較舊，部分技術(shù)問題難以及時解決，影響系統(tǒng)穩(wěn)定性和生產(chǎn)效率，限制了企業(yè)在信息化和智能化方向上的持續(xù)創(chuàng)新。

2. 部署發(fā)布效率低

原有 Wonderware 平臺采用傳統(tǒng) CS 架構(gòu)，需要專門的客戶端安裝程序，部署與配置效率低，分布式能力不足。一旦系統(tǒng)需要更新，需對每臺服務(wù)器和操作站逐一操作，導(dǎo)致維護(hù)負(fù)擔(dān)大、響應(yīng)速度慢。

3. 存儲點數(shù)受限

現(xiàn)有需要采集和存儲的數(shù)據(jù)點大約有 30W+，而 Wonderware 歷史數(shù)據(jù)的存儲能力有限，無法支撐未來大規(guī)模數(shù)據(jù)分析和信息化升級需求，成為發(fā)展瓶頸。

4. 對外接口單一

接口設(shè)計不夠靈活，當(dāng)訪問數(shù)量過大，訪問客戶端鏈接過多，系統(tǒng)資源就容易被堵塞，直接影響實時數(shù)據(jù)的寫入和查詢性能，降低整體數(shù)據(jù)處理能力。

TDengine 帶來的 5 點價值

面對傳統(tǒng)架構(gòu)在成本、性能與擴(kuò)展性方面的種種瓶頸，MES 系統(tǒng)亟需一個更高效、更靈活的數(shù)據(jù)底座來支撐不斷增長的生產(chǎn)數(shù)據(jù)量和智能化升級需求。經(jīng)過深入調(diào)研與測試，我們最終選擇了 TDengine 作為核心時序數(shù)據(jù)庫解決方案，其優(yōu)勢主要體現(xiàn)在以下幾個方面：

1. 成本可控，版本可持續(xù)升級：TDengine 支持永久授權(quán)模式和年費模式，在軟件有效期內(nèi)，如客戶需對硬件升級改造，可以對 TDengine 進(jìn)行軟件授權(quán)遷移，保護(hù)客戶投資，降低總體擁有成本。
2. 系統(tǒng)穩(wěn)定，彈性擴(kuò)展：作為專為時序數(shù)據(jù)設(shè)計的數(shù)據(jù)庫，TDengine 具備成熟的分布式架構(gòu)，支持在線擴(kuò)容與縮容，顯著提升系統(tǒng)的穩(wěn)定性與靈活性，部署更高效，運維更輕松。
3. 高效存儲，性能卓越：TDengine 采用列式存儲與高效壓縮算法，大幅降低存儲空間占用。其寫入能力強(qiáng)，能夠承載高頻數(shù)據(jù)寫入需求，輕松應(yīng)對百萬點位以上的數(shù)據(jù)采集與存儲需求。
4. 接口豐富，兼容性強(qiáng)：提供原生驅(qū)動、REST API、WebSocket 等多種訪問方式，支持 Java、Python、C/C++、C#、Go 等主流開發(fā)語言，具備良好的多并發(fā)處理能力，滿足實時查詢與系統(tǒng)集成需求。
5. 全面支持信創(chuàng)環(huán)境：TDengine 為 100% 國產(chǎn)自主研發(fā)，核心代碼開源，已適配麒麟、統(tǒng)信、凝思等國產(chǎn) Linux 操作系統(tǒng)，支持 x86 與 arm64 架構(gòu)，全面滿足政府與企業(yè)的信息安全及國產(chǎn)化替代要求。

TDengine 的落地實踐

在項目初期，MES 系統(tǒng)部署了兩節(jié)點的 TDengine（版本 2.4，運行于 Ubuntu 系統(tǒng)），由 SCADA 系統(tǒng)采集設(shè)備數(shù)據(jù)并通過應(yīng)用程序?qū)懭?TDengine。環(huán)境監(jiān)測系統(tǒng)則采用了單節(jié)點的 TDengine 3.1 版本。

2023 年，我們對這兩套系統(tǒng)進(jìn)行了整合，統(tǒng)一為一套三節(jié)點的 TDengine 集群，版本升級至 3.3，操作系統(tǒng)同步切換為國產(chǎn)麒麟。系統(tǒng)整合后，進(jìn)一步提升了數(shù)據(jù)處理能力和系統(tǒng)穩(wěn)定性，更好地支撐了生產(chǎn)、監(jiān)測等核心業(yè)務(wù)。

在建模方面，我們采用“1 個點位對應(yīng) 1 張子表”的方式，實時存儲來自卷煙機(jī)、包裝機(jī)、濾棒成型機(jī)、切片機(jī)、加料機(jī)等制絲生產(chǎn)設(shè)備的數(shù)據(jù)，目前接入設(shè)備已超過 10 萬臺，且仍在持續(xù)增長中。這些數(shù)據(jù)既可用于實時查詢關(guān)鍵工藝參數(shù)（如水分、溫度等），也可用于分析當(dāng)班生產(chǎn)產(chǎn)量、剔除情況等，為生產(chǎn)管理提供可靠的數(shù)據(jù)支撐。

新集群由 3 臺物理主機(jī)組成，每臺主機(jī)配置如下：

• CPU：64核
• 內(nèi)存：128GB
• 磁盤空間：20TB

在建庫時，我們采用了 3 副本策略，有效保障了數(shù)據(jù)的冗余性和系統(tǒng)的高可用性。在完成歷史數(shù)據(jù)平穩(wěn)遷移后，數(shù)據(jù)采集程序與上層應(yīng)用系統(tǒng)也順利完成切換。

系統(tǒng)架構(gòu)圖:

從架構(gòu)圖中可以看出，采集到的時序數(shù)據(jù)隨后被寫入 TDengine 進(jìn)行持久化存儲。

落地效果

目前，TDengine 集群已成功接入 SCADA 系統(tǒng)采集的 10 萬多個點位，累計存儲 3 年歷史數(shù)據(jù)，共計 1.8 萬億條記錄，僅占用整體存儲空間的 30%，預(yù)計可支撐 8 至 10 年的數(shù)據(jù)保存需求。

集群的存儲空間可根據(jù)需要進(jìn)行動態(tài)擴(kuò)展，滿足后期更多設(shè)備點位數(shù)據(jù)采集上來的存儲需求。本項目已驗證 TDengine 在煙草工業(yè)海量時序數(shù)據(jù)處理中的適用性，為行業(yè)數(shù)字化轉(zhuǎn)型提供了可復(fù)用的技術(shù)路徑。

運行優(yōu)化與問題解決

在使用 TDengine 的過程中，曾一度發(fā)現(xiàn)存儲空間增長較快。經(jīng)濤思數(shù)據(jù)售后團(tuán)隊協(xié)助分析，確認(rèn)是由于應(yīng)用程序?qū)懭霘v史數(shù)據(jù)，導(dǎo)致數(shù)據(jù)文件中出現(xiàn)空洞和存儲放大等問題。這不僅降低了存儲效率，也影響了查詢性能。

為解決這一問題，項目團(tuán)隊啟用了 TDengine 企業(yè)版提供的數(shù)據(jù)重整功能（data compact）。該功能能夠重新整理存儲的數(shù)據(jù)文件，刪除其中的空洞和無效數(shù)據(jù)，從而提高數(shù)據(jù)的組織度，進(jìn)而提升存儲和查詢效率。

具體排查與優(yōu)化操作如下：

• 系統(tǒng)監(jiān)控顯示存儲空間增長異常，占用了 75% 空間。

• 經(jīng)過檢查文件編號和更新日期，發(fā)現(xiàn)某單個數(shù)據(jù)文件大小和寫入日期異常，可以判斷是應(yīng)用側(cè)寫入了大量歷史數(shù)據(jù)，導(dǎo)致存儲放大。

• 手動執(zhí)行 compact database 后，存儲空間使用恢復(fù)正常，性能也得到了大幅度的提升。

未來規(guī)劃與升級方向

當(dāng)前系統(tǒng)采用“一個點位一張表”的單列模型，便于數(shù)據(jù)采集與管理。然而，在實際查詢過程中，采用寬表多列模型更為方便，尤其是在跨點位、跨表的分析場景下，該模型存在一定的局限性。例如，跨表查詢需依賴復(fù)雜的 JOIN 語句和多次拼接操作，數(shù)據(jù)按時間戳對齊效率低，查詢延遲明顯。

為解決上述問題，TDengine 在 3.3.6 版本中引入了虛擬表功能，真正實現(xiàn)了“一個設(shè)備一張表”的設(shè)計理念。具備以下優(yōu)勢：

• 更簡單：用戶無需編寫復(fù)雜 JOIN + 嵌套查詢語句，通過虛擬表直接獲取跨表對齊數(shù)據(jù)
• 更快速：動態(tài)計算減少冗余存儲，歸并排序優(yōu)化數(shù)據(jù)對齊效率
• 實時性：虛擬表實時反映原始表變更，支持毫秒級數(shù)據(jù)更新
• 易擴(kuò)展：支持動態(tài)添加/刪除列，適配業(yè)務(wù)需求變化。

下一步，我們計劃將 TDengine 集群從當(dāng)前的 3.3.2 升級至 3.3.6，充分利用虛擬表功能，以更高效地支撐未來日益增長的查詢分析需求。

關(guān)于昆明卷煙廠

昆明卷煙廠創(chuàng)建于 1922 年，是中國卷煙工業(yè)四大重點骨干企業(yè)之一。核心品牌“云煙”是中國煙草行業(yè)首批同時擁有“中國馳名商標(biāo)”和“中國名牌產(chǎn)品”的雙冠品牌。產(chǎn)品覆蓋中高端市場，遠(yuǎn)銷海內(nèi)外。