在某大型油田生產(chǎn)管理方案中，用戶需要實現(xiàn)生產(chǎn)現(xiàn)場的自動化采集與控制、生產(chǎn)視頻系統(tǒng)、工業(yè)物聯(lián)網(wǎng)、生產(chǎn)數(shù)據(jù)服務(wù)、智能化生產(chǎn)管控應(yīng)用以及各個環(huán)節(jié)的信息化采集標準建設(shè)等內(nèi)容。在 TDengine 的幫助下，該大型項目成功完成了技術(shù)優(yōu)化升級。本篇文章將就本次優(yōu)化工作進行進一步的分析解讀，給到大家參考。

TDengine 應(yīng)用歷程

這個項目此前的應(yīng)用系統(tǒng)主要采用 Oracle 來存儲和處理時序數(shù)據(jù)，但隨著使用時間的增加，數(shù)據(jù)存儲量越來越大，實時數(shù)據(jù)存儲和處理的問題日益凸顯，技術(shù)優(yōu)化也遇到了瓶頸：

1. 在處理復雜查詢和聚合大數(shù)據(jù)集時寫入和查詢效率大幅衰減，系統(tǒng)出現(xiàn)明顯的性能下降；
2. 數(shù)據(jù)占用了越來越多的磁盤空間，給運維資源帶來較大壓力；
3. 分布式的企業(yè)管理模式下基于應(yīng)用本身的數(shù)據(jù)協(xié)同效率低下，無法滿足企業(yè)應(yīng)用的數(shù)據(jù)同步需求。

為了解決這些問題，用戶進行了多方技術(shù)方案驗證，并最終選擇使用 TDengine 替換 Oracle 來存儲時序數(shù)據(jù)。通過 TDengine 的邊云協(xié)同技術(shù)，實現(xiàn)了邊緣數(shù)據(jù)向云端的實時匯聚。

接下來，我們將對 TDengine 應(yīng)用的主要場景進行深入分析。通過詳細探討 TDengine 在各個應(yīng)用場景下的優(yōu)勢和應(yīng)用效果，大家可以更好地了解其在實際項目中的價值和作用。

場景一：數(shù)據(jù)質(zhì)量提升

一般來說，在實際應(yīng)用中，生產(chǎn)現(xiàn)場采集的大量實時數(shù)據(jù)主要存儲在工控系統(tǒng)中，對于支撐應(yīng)用的數(shù)據(jù)質(zhì)量難以保障。架構(gòu)優(yōu)化之后，現(xiàn)場實時數(shù)據(jù)將批量寫入 TDengine（同批次數(shù)據(jù)包含不同井或設(shè)備的數(shù)據(jù)）。這一優(yōu)化措施顯著提高了數(shù)據(jù)的準確性和一致性，進一步優(yōu)化系統(tǒng)性能，確保數(shù)據(jù)的可靠性和完整性。

此外，TDengine 也實現(xiàn)了對非實時數(shù)據(jù)的補錄，補錄中如果產(chǎn)生數(shù)據(jù)碎片，以及日常使用中產(chǎn)生的數(shù)據(jù)碎片，均可以通過 compact 功能在線重整數(shù)據(jù)文件解決。

場景二：數(shù)據(jù)服務(wù)性能優(yōu)化

我們依托多個參數(shù)的歷史曲線查詢功能，通過數(shù)據(jù)分析和可視化能力，實現(xiàn)了對單井生產(chǎn)設(shè)備的實時監(jiān)控與歷史數(shù)據(jù)查詢。該功能主要基于多參數(shù)的數(shù)據(jù)源，涵蓋了涉及 TDengine 和關(guān)系型數(shù)據(jù)庫的多個數(shù)據(jù)源取值，通過 TDengine 快速高效的查詢，獲取歷史數(shù)據(jù)并生成曲線圖。

通過自定義指標配置項，用戶可以根據(jù)實際需求調(diào)整指標計算公式，生成個性化的結(jié)果數(shù)據(jù)，滿足不同層級管理人員對數(shù)據(jù)展示的需求。

場景三：數(shù)據(jù)同步效率和存儲優(yōu)化

在這個重要環(huán)節(jié)，我們利用到了 TDengine 邊云協(xié)同的重要特性——即對多個不同的 TDengine 服務(wù)的全量歷史數(shù)據(jù)以及后續(xù)新增的數(shù)據(jù)，實時同步至云端 TDengine。

作為 TDengine 的一部分，taosX 工具僅需要在數(shù)據(jù)接收方一側(cè)部署，僅需一行命令便可以完成實時同步、歷史數(shù)據(jù)遷移，以及二者混合的三種數(shù)據(jù)處理方案。

例如：同步某臺服務(wù)器的 db1 的歷史數(shù)據(jù)以及實時數(shù)據(jù)到本地的 db2 數(shù)據(jù)庫僅需執(zhí)行如下一條命令即可。

  taosx run -f 'taos://192.168.1.101:6030/db1?mode=all' -t 'taos://localhost:6030/db2' -v

另外，taosX 也提供了基于數(shù)據(jù)訂閱方式（利用 TDengine 的 wal 日志）實時數(shù)據(jù)同步，以事件到達順序處理數(shù)據(jù)，無論是實時數(shù)據(jù)還是歷史數(shù)據(jù)的寫入，都會實時同步到目標集群，不會丟失補錄的歷史數(shù)據(jù)。

通過該方案的實施，多個 TDengine 服務(wù)通過 taosX 跨省實時同步數(shù)據(jù)至云端總部集群。目前 TDengine 總部集群存儲的數(shù)據(jù)量已經(jīng)達到了 36 TB，總數(shù)據(jù)量 1034 億+條，壓縮率達到了 10% 以內(nèi)。

寫在最后

對于該項目來說，在將 Oracle 整體切換至 TDengine 之后優(yōu)化效果明顯，主要體現(xiàn)在如下幾個方面：

1. 數(shù)據(jù)插入性能變高，硬件資源減少；
2. 集群支持在線水平擴展，輕松應(yīng)對未來擴容需求；
3. 靈活定義數(shù)據(jù)的生命周期，方便過期數(shù)據(jù)管理；
4. 秒級 500 萬測點的同步速率，滿足了用戶邊云協(xié)同場景需求。

隨著邊云協(xié)同功能在各個復雜龐大的業(yè)務(wù)場景下成功落地，TDengine 也展現(xiàn)出了更強大的數(shù)據(jù)處理能力和更靈活的架構(gòu)，能夠更好地適應(yīng)工業(yè)物聯(lián)網(wǎng)環(huán)境下復雜多變的數(shù)據(jù)處理和存儲需求，為工業(yè)物聯(lián)網(wǎng)的發(fā)展提供有力支持和保障。