在當今數(shù)字化轉型加速的背景下，海量的數(shù)據生成和實時處理需求已成為企業(yè)面臨的關鍵挑戰(zhàn)。無論是物聯(lián)網設備、工業(yè)自動化系統(tǒng)，還是智能城市的各類傳感器，數(shù)據的采集、傳輸與分析效率，直接影響企業(yè)的決策與運營。為此，TDengine 推出的邊云協(xié)同解決方案，通過將計算和存儲分布在邊緣和云端，提供高效的數(shù)據管理和實時處理能力，幫助企業(yè)在降低成本的同時，實現(xiàn)更靈活、更高效的業(yè)務運營。本篇文章將幫助大家深入了解這一解決方案的核心技術及其應用場景，以及它如何為企業(yè)帶來創(chuàng)新和價值。

為什么需要邊云協(xié)同？

在工業(yè)互聯(lián)網中，邊緣設備的作用是對本地生產數(shù)據進行實時監(jiān)控和處理，但這只能為決策者提供局部視角，無法形成全局的認知。為了做出全面、準確的決策，邊緣設備采集的數(shù)據需要上傳至云端平臺（無論是公有云還是私有云）。在云端，數(shù)據不僅可以被匯聚，還能通過更強大的計算資源進行融合和分析，從而為管理者提供對整個生產系統(tǒng)的宏觀洞察。

邊云協(xié)同架構由此應運而生，它成為工業(yè)互聯(lián)網中不可或缺的支柱，尤其是在需要同時兼顧數(shù)據實時性和全局視角的復雜場景中。邊緣設備通常負責監(jiān)控生產線上某一項或某幾項關鍵指標，如車間內的生產進度、設備運行狀態(tài)等，并對異常情況進行及時告警。邊緣設備在采集和處理這些數(shù)據后，會將其傳輸?shù)皆贫说拇髷?shù)據平臺。此時，邊緣設備可以保證數(shù)據的實時性，云端則利用更強大的計算能力對這些分散的數(shù)據進行匯總、分析和深度挖掘。

然而，隨著邊緣設備的數(shù)量迅速增長，數(shù)據量也呈爆炸式增長。在這種情況下，要讓系統(tǒng)高效運行，邊云協(xié)同的數(shù)據庫或數(shù)據存儲系統(tǒng)需要具備選擇性上報和數(shù)據降采樣的功能。例如，邊緣設備可能每秒鐘采集一次數(shù)據，但為了減輕數(shù)據傳輸和存儲的壓力，可以選擇只上傳經過降采樣的數(shù)據，將采集頻率從一秒降為一分鐘。這不僅減少了數(shù)據量，還保留了足夠的信息，用于長期的趨勢分析和預測模型。

此外，邊云協(xié)同的需求還源于傳統(tǒng)工業(yè)數(shù)據采集系統(tǒng)的局限性。傳統(tǒng)的系統(tǒng)通常依賴于從 PLC（可編程邏輯控制器）采集數(shù)據，并通過工業(yè)實時數(shù)據庫進行處理。這類系統(tǒng)往往采用主備架構，擴展性差，且依賴于特定的操作系統(tǒng)和軟硬件生態(tài)，導致整個系統(tǒng)的封閉性較高，靈活性和可擴展性有限。

相比之下，邊云協(xié)同架構的優(yōu)勢在于它的高度靈活性和可擴展性，能夠在邊緣和云端實現(xiàn)數(shù)據的分層處理。邊緣設備處理實時數(shù)據，快速響應現(xiàn)場需求，而云端則通過強大的計算能力進行數(shù)據整合和分析，為管理層提供全局的決策支持。這種架構不僅提高了數(shù)據處理的效率，還能根據實際需求進行靈活擴展，適應不同規(guī)模的企業(yè)和應用場景。

TDengine 的邊云協(xié)同解決方案

正如前文所說，在工業(yè)互聯(lián)網和制造業(yè)場景中，實時、高效的數(shù)據同步是企業(yè)優(yōu)化運營、提升決策能力的關鍵。在此背景下，TDengine Enterprise（企業(yè)版）憑借強大的邊云協(xié)同功能，為工業(yè)企業(yè)提供了一個靈活且高效的數(shù)據處理解決方案。通過該方案，企業(yè)可以實現(xiàn)邊緣側與云端之間的數(shù)據無縫協(xié)作，滿足各種復雜業(yè)務場景的需求。

TDengine Enterprise 的邊云協(xié)同解決方案具備以下幾大核心特性：

高效數(shù)據同步

支持每秒數(shù)百萬條數(shù)據的高速同步能力，確保在邊緣設備和云端平臺之間的數(shù)據傳輸既快速又穩(wěn)定，無論是在工業(yè)物聯(lián)網設備密集的現(xiàn)場，還是云端的分析平臺，都能保持數(shù)據的實時同步。

多數(shù)據源兼容性

TDengine Enterprise 提供了廣泛的數(shù)據源對接能力，支持主流工業(yè)協(xié)議和標準如 AVEVA PI System、OPC-UA、OPC-DA、MQTT 等，實現(xiàn)對多種外部系統(tǒng)的數(shù)據接入。這種兼容性極大擴展了其應用場景，無論是傳統(tǒng)的工業(yè)系統(tǒng)還是新興的物聯(lián)網平臺，都能輕松接入。

靈活的同步規(guī)則配置

用戶可以根據實際業(yè)務需求配置數(shù)據同步規(guī)則，實現(xiàn)對數(shù)據同步策略的高度定制化。無論是降采樣、按條件篩選，還是選擇性同步不同級別的關鍵信息，TDengine Enterprise 都能通過配置滿足企業(yè)對數(shù)據的不同要求，確保同步的數(shù)據不僅有效，而且最為相關。

斷線續(xù)傳與重新訂閱

在復雜的工業(yè)環(huán)境中，網絡穩(wěn)定性往往難以保障。TDengine Enterprise 支持斷線續(xù)傳和重新訂閱功能，確保即使在網絡中斷時，數(shù)據的同步也不會丟失，系統(tǒng)能夠在網絡恢復后繼續(xù)完成未完成的傳輸任務，保證數(shù)據完整性。

歷史數(shù)據遷移

當企業(yè)需要進行系統(tǒng)升級或更換時，TDengine Enterprise 提供了便捷的歷史數(shù)據遷移功能。用戶可以輕松將歷史數(shù)據從舊系統(tǒng)無縫遷移到新系統(tǒng)，確保數(shù)據的持續(xù)性和一致性，避免因系統(tǒng)變更而造成的數(shù)據丟失或不兼容問題。

此外，TDengine Enterprise 的數(shù)據訂閱功能賦予用戶極大的靈活性。用戶可以根據業(yè)務需求自由選擇訂閱的數(shù)據范圍，無論是單個數(shù)據庫、一張超級表，甚至是帶有篩選條件的查詢語句，均可實現(xiàn)選擇性的同步。通過這種方式，用戶可以將真正關心的數(shù)據，如離線數(shù)據或亂序數(shù)據，從邊緣側同步到云端或其他集群，最大限度地優(yōu)化數(shù)據傳輸效率，減少帶寬占用和資源浪費。

在實際的工業(yè)場景中，比如一個生產車間（以下圖為例），TDengine Enterprise 可以高效地實現(xiàn)邊云協(xié)同架構的應用。生產車間內的設備產生的實時數(shù)據存儲在邊緣側的 TDengine 中。隨后，部署在分廠的 TDengine 會訂閱車間的生產數(shù)據，并根據業(yè)務需求靈活配置同步規(guī)則，如降采樣或僅同步超出閾值的數(shù)據。同理，集團總部的 TDengine 會進一步訂閱各個分廠的數(shù)據，完成集團維度的數(shù)據匯總和分析。這種多層次、分級的數(shù)據同步架構，保證了從生產車間到集團總部的數(shù)據流動高效、實時且具備業(yè)務相關性。

與傳統(tǒng)的離線數(shù)據同步方式相比，TDengine Enterprise 提供了多項顯著的優(yōu)勢：

• 零代碼配置：無需編寫復雜的代碼，用戶只需通過簡單的配置即可實現(xiàn)邊緣和云端的數(shù)據同步。
• 自動化程度高：跨區(qū)域的數(shù)據同步可以自動完成，減少了手動操作中的出錯率，顯著提高了運維效率。
• 無緩存需求：TDengine 通過優(yōu)化傳輸機制，避免了大批量數(shù)據同步時帶來的網絡帶寬阻塞問題，使數(shù)據傳輸更加平滑、高效。
• 靈活、實時的數(shù)據同步：通過數(shù)據訂閱方式實現(xiàn)的同步支持規(guī)則配置，能夠根據具體業(yè)務需求靈活調整數(shù)據的傳輸頻率和內容。
• 統(tǒng)一的數(shù)據模型：邊緣側和云端均使用 TDengine，確保了數(shù)據模型的一致性，大大降低了數(shù)據治理的復雜度，提升了管理效率。

針對制造業(yè)企業(yè)普遍面臨的數(shù)據同步挑戰(zhàn)，TDengine Enterprise 提供了一個具備實時性、靈活性和高效性的解決方案，尤其是在大規(guī)模數(shù)據同步和網絡環(huán)境復雜的情況下，極大優(yōu)化了數(shù)據傳輸?shù)男屎头€(wěn)定性，避免了傳統(tǒng)方式中定期傳輸大數(shù)據量所導致的資源浪費和帶寬擁堵問題。

邊云協(xié)同在某大型油田項目中的應用

在某大型油田的生產管理項目中，用戶需要集成多個系統(tǒng)，如自動化數(shù)據采集與控制、生產視頻監(jiān)控、工業(yè)物聯(lián)網、生產數(shù)據服務和智能化生產管理等，同時也需要建設各環(huán)節(jié)的信息化采集標準。然而，隨著時間推移，項目中原先使用的 Oracle 系統(tǒng)在應對大規(guī)模時序數(shù)據的存儲和處理時，逐漸暴露出一些瓶頸問題：

1. 在面對復雜查詢和大數(shù)據集的聚合時，寫入和查詢效率顯著下降，系統(tǒng)性能逐漸衰減；
2. 隨著數(shù)據量的不斷增加，磁盤空間壓力增大，運維成本日益增加；
3. 在分布式企業(yè)管理模式下，數(shù)據協(xié)同效率較低，難以滿足企業(yè)快速增長的業(yè)務需求。

為了解決這些問題，該項目團隊對多種技術方案進行了深入的驗證，最終選擇將 Oracle 系統(tǒng)中的時序數(shù)據存儲切換至 TDengine，并借助其邊云協(xié)同技術，實現(xiàn)了邊緣側數(shù)據到云端的實時匯聚與同步。

具體實施方案中，多個不同的 TDengine 服務將全量的歷史數(shù)據及后續(xù)產生的數(shù)據實時同步至云端 TDengine。TDengine 的核心組件之一——taosX，只需在數(shù)據接收方部署，并通過一條簡單的命令，即可完成包括歷史數(shù)據遷移、實時同步及兩者混合的處理流程。

例如，使用以下命令可以將某臺服務器的?db1?歷史數(shù)據及實時數(shù)據同步到本地的?db2?數(shù)據庫：

taosx?run -f 'taos://192.168.1.101:6030/db1?mode=all' -t 'taos://localhost:6030/db2' -v

此外，taosX 還支持基于 TDengine 的 WAL 日志進行數(shù)據訂閱，通過事件驅動順序處理數(shù)據。無論是實時數(shù)據的插入，還是歷史數(shù)據的補錄，所有數(shù)據都能夠實時同步到目標集群，確保數(shù)據完整性和時效性。

實施該方案后，多個 TDengine 服務實現(xiàn)了跨省數(shù)據實時同步，將邊緣數(shù)據匯聚至云端總部集群。當前總部集群存儲的數(shù)據量已經達到 36 TB，總數(shù)據量超過 1034 億條，數(shù)據壓縮率控制在 10% 以內。通過 TDengine 的高效壓縮技術，大幅節(jié)省了存儲資源。

自項目將 Oracle 切換為 TDengine 后，優(yōu)化效果顯著，主要體現(xiàn)在以下幾方面：

1. 數(shù)據寫入性能大幅提升，硬件資源占用減少，系統(tǒng)運行更加高效；
2. 集群支持在線水平擴展，能夠輕松應對未來的擴展需求，提升了系統(tǒng)靈活性；
3. 靈活的數(shù)據生命周期管理，便于過期數(shù)據的自動清理和歸檔，簡化了數(shù)據管理流程；
4. 秒級 500 萬測點的同步速率，有效滿足了該項目對邊云協(xié)同場景的高實時性需求。

通過 TDengine 邊云協(xié)同解決方案的應用，該油田項目實現(xiàn)了對海量時序數(shù)據的高效管理和實時處理，解決了原有系統(tǒng)性能瓶頸問題，為未來的擴展和智能化生產奠定了堅實基礎。

結語

TDengine 邊云協(xié)同解決方案憑借其高效的數(shù)據同步能力、靈活的配置機制和強大的實時處理性能，成為應對工業(yè)互聯(lián)網場景下數(shù)據管理挑戰(zhàn)的有力工具。通過統(tǒng)一的邊云架構，時序數(shù)據庫 TDengine 能夠在滿足邊緣側實時處理需求的同時，將大量數(shù)據高效匯聚至云端，幫助企業(yè)在數(shù)據分析和決策上實現(xiàn)全局視角。希望本文能夠幫助企業(yè)更好地理解邊云協(xié)同技術的優(yōu)勢，并為其未來的數(shù)字化轉型和智能化生產提供有價值的參考。