背景和痛點

MES 系統(tǒng)在持續(xù)擴展和深度應用的過程中，出現(xiàn)了系統(tǒng)穩(wěn)定性差，數(shù)據(jù)采集系統(tǒng)異常等情況，主要體現(xiàn)在以下幾個方面：

1. 維護成本高，擴展能力差

Wonderware 平臺按年收取維護費用，采用按組件和授權等級計費的模式，且不支持一次性買斷，軟件升級也需額外付費，整體成本高昂。由于版本較舊，部分技術問題難以及時解決，影響系統(tǒng)穩(wěn)定性和生產(chǎn)效率，限制了企業(yè)在信息化和智能化方向上的持續(xù)創(chuàng)新。

2. 部署發(fā)布效率低

原有 Wonderware 平臺采用傳統(tǒng) CS 架構，需要專門的客戶端安裝程序，部署與配置效率低，分布式能力不足。一旦系統(tǒng)需要更新，需對每臺服務器和操作站逐一操作，導致維護負擔大、響應速度慢。

3. 存儲點數(shù)受限

現(xiàn)有需要采集和存儲的數(shù)據(jù)點大約有 30W+，而 Wonderware 歷史數(shù)據(jù)的存儲能力有限，無法支撐未來大規(guī)模數(shù)據(jù)分析和信息化升級需求，成為發(fā)展瓶頸。

4. 對外接口單一

接口設計不夠靈活，當訪問數(shù)量過大，訪問客戶端鏈接過多，系統(tǒng)資源就容易被堵塞，直接影響實時數(shù)據(jù)的寫入和查詢性能，降低整體數(shù)據(jù)處理能力。

TDengine 帶來的 5 點價值

面對傳統(tǒng)架構在成本、性能與擴展性方面的種種瓶頸，MES 系統(tǒng)亟需一個更高效、更靈活的數(shù)據(jù)底座來支撐不斷增長的生產(chǎn)數(shù)據(jù)量和智能化升級需求。經(jīng)過深入調(diào)研與測試，我們最終選擇了 TDengine 作為核心時序數(shù)據(jù)庫解決方案，其優(yōu)勢主要體現(xiàn)在以下幾個方面：

1. 成本可控，版本可持續(xù)升級：TDengine 支持永久授權模式和年費模式，在軟件有效期內(nèi)，如客戶需對硬件升級改造，可以對 TDengine 進行軟件授權遷移，保護客戶投資，降低總體擁有成本。
2. 系統(tǒng)穩(wěn)定，彈性擴展：作為專為時序數(shù)據(jù)設計的數(shù)據(jù)庫，TDengine 具備成熟的分布式架構，支持在線擴容與縮容，顯著提升系統(tǒng)的穩(wěn)定性與靈活性，部署更高效，運維更輕松。
3. 高效存儲，性能卓越：TDengine 采用列式存儲與高效壓縮算法，大幅降低存儲空間占用。其寫入能力強，能夠承載高頻數(shù)據(jù)寫入需求，輕松應對百萬點位以上的數(shù)據(jù)采集與存儲需求。
4. 接口豐富，兼容性強：提供原生驅(qū)動、REST API、WebSocket 等多種訪問方式，支持 Java、Python、C/C++、C#、Go 等主流開發(fā)語言，具備良好的多并發(fā)處理能力，滿足實時查詢與系統(tǒng)集成需求。
5. 全面支持信創(chuàng)環(huán)境：TDengine 為 100% 國產(chǎn)自主研發(fā)，核心代碼開源，已適配麒麟、統(tǒng)信、凝思等國產(chǎn) Linux 操作系統(tǒng)，支持 x86 與 arm64 架構，全面滿足政府與企業(yè)的信息安全及國產(chǎn)化替代要求。

TDengine 的落地實踐

在項目初期，MES 系統(tǒng)部署了兩節(jié)點的 TDengine（版本 2.4，運行于 Ubuntu 系統(tǒng)），由 SCADA 系統(tǒng)采集設備數(shù)據(jù)并通過應用程序?qū)懭?TDengine。環(huán)境監(jiān)測系統(tǒng)則采用了單節(jié)點的 TDengine 3.1 版本。

2023 年，我們對這兩套系統(tǒng)進行了整合，統(tǒng)一為一套三節(jié)點的 TDengine 集群，版本升級至 3.3，操作系統(tǒng)同步切換為國產(chǎn)麒麟。系統(tǒng)整合后，進一步提升了數(shù)據(jù)處理能力和系統(tǒng)穩(wěn)定性，更好地支撐了生產(chǎn)、監(jiān)測等核心業(yè)務。

在建模方面，我們采用“1 個點位對應 1 張子表”的方式，實時存儲來自卷煙機、包裝機、濾棒成型機、切片機、加料機等制絲生產(chǎn)設備的數(shù)據(jù)，目前接入設備已超過 10 萬臺，且仍在持續(xù)增長中。這些數(shù)據(jù)既可用于實時查詢關鍵工藝參數(shù)（如水分、溫度等），也可用于分析當班生產(chǎn)產(chǎn)量、剔除情況等，為生產(chǎn)管理提供可靠的數(shù)據(jù)支撐。

新集群由 3 臺物理主機組成，每臺主機配置如下：

• CPU：64核
• 內(nèi)存：128GB
• 磁盤空間：20TB

在建庫時，我們采用了 3 副本策略，有效保障了數(shù)據(jù)的冗余性和系統(tǒng)的高可用性。在完成歷史數(shù)據(jù)平穩(wěn)遷移后，數(shù)據(jù)采集程序與上層應用系統(tǒng)也順利完成切換。

系統(tǒng)架構圖:

從架構圖中可以看出，采集到的時序數(shù)據(jù)隨后被寫入 TDengine 進行持久化存儲。

落地效果

目前，TDengine 集群已成功接入 SCADA 系統(tǒng)采集的 10 萬多個點位，累計存儲 3 年歷史數(shù)據(jù)，共計 1.8 萬億條記錄，僅占用整體存儲空間的 30%，預計可支撐 8 至 10 年的數(shù)據(jù)保存需求。

集群的存儲空間可根據(jù)需要進行動態(tài)擴展，滿足后期更多設備點位數(shù)據(jù)采集上來的存儲需求。本項目已驗證 TDengine 在煙草工業(yè)海量時序數(shù)據(jù)處理中的適用性，為行業(yè)數(shù)字化轉(zhuǎn)型提供了可復用的技術路徑。

運行優(yōu)化與問題解決

在使用 TDengine 的過程中，曾一度發(fā)現(xiàn)存儲空間增長較快。經(jīng)濤思數(shù)據(jù)售后團隊協(xié)助分析，確認是由于應用程序?qū)懭霘v史數(shù)據(jù)，導致數(shù)據(jù)文件中出現(xiàn)空洞和存儲放大等問題。這不僅降低了存儲效率，也影響了查詢性能。

為解決這一問題，項目團隊啟用了 TDengine 企業(yè)版提供的數(shù)據(jù)重整功能（data compact）。該功能能夠重新整理存儲的數(shù)據(jù)文件，刪除其中的空洞和無效數(shù)據(jù)，從而提高數(shù)據(jù)的組織度，進而提升存儲和查詢效率。

具體排查與優(yōu)化操作如下：

• 系統(tǒng)監(jiān)控顯示存儲空間增長異常，占用了 75% 空間。

• 經(jīng)過檢查文件編號和更新日期，發(fā)現(xiàn)某單個數(shù)據(jù)文件大小和寫入日期異常，可以判斷是應用側寫入了大量歷史數(shù)據(jù)，導致存儲放大。

• 手動執(zhí)行 compact database 后，存儲空間使用恢復正常，性能也得到了大幅度的提升。

未來規(guī)劃與升級方向

當前系統(tǒng)采用“一個點位一張表”的單列模型，便于數(shù)據(jù)采集與管理。然而，在實際查詢過程中，采用寬表多列模型更為方便，尤其是在跨點位、跨表的分析場景下，該模型存在一定的局限性。例如，跨表查詢需依賴復雜的 JOIN 語句和多次拼接操作，數(shù)據(jù)按時間戳對齊效率低，查詢延遲明顯。

為解決上述問題，TDengine 在 3.3.6 版本中引入了虛擬表功能，真正實現(xiàn)了“一個設備一張表”的設計理念。具備以下優(yōu)勢：

• 更簡單：用戶無需編寫復雜 JOIN + 嵌套查詢語句，通過虛擬表直接獲取跨表對齊數(shù)據(jù)
• 更快速：動態(tài)計算減少冗余存儲，歸并排序優(yōu)化數(shù)據(jù)對齊效率
• 實時性：虛擬表實時反映原始表變更，支持毫秒級數(shù)據(jù)更新
• 易擴展：支持動態(tài)添加/刪除列，適配業(yè)務需求變化。

下一步，我們計劃將 TDengine 集群從當前的 3.3.2 升級至 3.3.6，充分利用虛擬表功能，以更高效地支撐未來日益增長的查詢分析需求。

關于昆明卷煙廠

昆明卷煙廠創(chuàng)建于 1922 年，是中國卷煙工業(yè)四大重點骨干企業(yè)之一。核心品牌“云煙”是中國煙草行業(yè)首批同時擁有“中國馳名商標”和“中國名牌產(chǎn)品”的雙冠品牌。產(chǎn)品覆蓋中高端市場，遠銷海內(nèi)外。