在當(dāng)今數(shù)字化轉(zhuǎn)型加速的背景下，海量的數(shù)據(jù)生成和實時處理需求已成為企業(yè)面臨的關(guān)鍵挑戰(zhàn)。無論是物聯(lián)網(wǎng)設(shè)備、工業(yè)自動化系統(tǒng)，還是智能城市的各類傳感器，數(shù)據(jù)的采集、傳輸與分析效率，直接影響企業(yè)的決策與運營。為此，TDengine 推出的邊云協(xié)同解決方案，通過將計算和存儲分布在邊緣和云端，提供高效的數(shù)據(jù)管理和實時處理能力，幫助企業(yè)在降低成本的同時，實現(xiàn)更靈活、更高效的業(yè)務(wù)運營。本篇文章將幫助大家深入了解這一解決方案的核心技術(shù)及其應(yīng)用場景，以及它如何為企業(yè)帶來創(chuàng)新和價值。

為什么需要邊云協(xié)同？

在工業(yè)互聯(lián)網(wǎng)中，邊緣設(shè)備的作用是對本地生產(chǎn)數(shù)據(jù)進(jìn)行實時監(jiān)控和處理，但這只能為決策者提供局部視角，無法形成全局的認(rèn)知。為了做出全面、準(zhǔn)確的決策，邊緣設(shè)備采集的數(shù)據(jù)需要上傳至云端平臺（無論是公有云還是私有云）。在云端，數(shù)據(jù)不僅可以被匯聚，還能通過更強(qiáng)大的計算資源進(jìn)行融合和分析，從而為管理者提供對整個生產(chǎn)系統(tǒng)的宏觀洞察。

邊云協(xié)同架構(gòu)由此應(yīng)運而生，它成為工業(yè)互聯(lián)網(wǎng)中不可或缺的支柱，尤其是在需要同時兼顧數(shù)據(jù)實時性和全局視角的復(fù)雜場景中。邊緣設(shè)備通常負(fù)責(zé)監(jiān)控生產(chǎn)線上某一項或某幾項關(guān)鍵指標(biāo)，如車間內(nèi)的生產(chǎn)進(jìn)度、設(shè)備運行狀態(tài)等，并對異常情況進(jìn)行及時告警。邊緣設(shè)備在采集和處理這些數(shù)據(jù)后，會將其傳輸?shù)皆贫说拇髷?shù)據(jù)平臺。此時，邊緣設(shè)備可以保證數(shù)據(jù)的實時性，云端則利用更強(qiáng)大的計算能力對這些分散的數(shù)據(jù)進(jìn)行匯總、分析和深度挖掘。

然而，隨著邊緣設(shè)備的數(shù)量迅速增長，數(shù)據(jù)量也呈爆炸式增長。在這種情況下，要讓系統(tǒng)高效運行，邊云協(xié)同的數(shù)據(jù)庫或數(shù)據(jù)存儲系統(tǒng)需要具備選擇性上報和數(shù)據(jù)降采樣的功能。例如，邊緣設(shè)備可能每秒鐘采集一次數(shù)據(jù)，但為了減輕數(shù)據(jù)傳輸和存儲的壓力，可以選擇只上傳經(jīng)過降采樣的數(shù)據(jù)，將采集頻率從一秒降為一分鐘。這不僅減少了數(shù)據(jù)量，還保留了足夠的信息，用于長期的趨勢分析和預(yù)測模型。

此外，邊云協(xié)同的需求還源于傳統(tǒng)工業(yè)數(shù)據(jù)采集系統(tǒng)的局限性。傳統(tǒng)的系統(tǒng)通常依賴于從 PLC（可編程邏輯控制器）采集數(shù)據(jù)，并通過工業(yè)實時數(shù)據(jù)庫進(jìn)行處理。這類系統(tǒng)往往采用主備架構(gòu)，擴(kuò)展性差，且依賴于特定的操作系統(tǒng)和軟硬件生態(tài)，導(dǎo)致整個系統(tǒng)的封閉性較高，靈活性和可擴(kuò)展性有限。

相比之下，邊云協(xié)同架構(gòu)的優(yōu)勢在于它的高度靈活性和可擴(kuò)展性，能夠在邊緣和云端實現(xiàn)數(shù)據(jù)的分層處理。邊緣設(shè)備處理實時數(shù)據(jù)，快速響應(yīng)現(xiàn)場需求，而云端則通過強(qiáng)大的計算能力進(jìn)行數(shù)據(jù)整合和分析，為管理層提供全局的決策支持。這種架構(gòu)不僅提高了數(shù)據(jù)處理的效率，還能根據(jù)實際需求進(jìn)行靈活擴(kuò)展，適應(yīng)不同規(guī)模的企業(yè)和應(yīng)用場景。

TDengine 的邊云協(xié)同解決方案

正如前文所說，在工業(yè)互聯(lián)網(wǎng)和制造業(yè)場景中，實時、高效的數(shù)據(jù)同步是企業(yè)優(yōu)化運營、提升決策能力的關(guān)鍵。在此背景下，TDengine Enterprise（企業(yè)版）憑借強(qiáng)大的邊云協(xié)同功能，為工業(yè)企業(yè)提供了一個靈活且高效的數(shù)據(jù)處理解決方案。通過該方案，企業(yè)可以實現(xiàn)邊緣側(cè)與云端之間的數(shù)據(jù)無縫協(xié)作，滿足各種復(fù)雜業(yè)務(wù)場景的需求。

TDengine Enterprise 的邊云協(xié)同解決方案具備以下幾大核心特性：

高效數(shù)據(jù)同步

支持每秒數(shù)百萬條數(shù)據(jù)的高速同步能力，確保在邊緣設(shè)備和云端平臺之間的數(shù)據(jù)傳輸既快速又穩(wěn)定，無論是在工業(yè)物聯(lián)網(wǎng)設(shè)備密集的現(xiàn)場，還是云端的分析平臺，都能保持?jǐn)?shù)據(jù)的實時同步。

多數(shù)據(jù)源兼容性

TDengine Enterprise 提供了廣泛的數(shù)據(jù)源對接能力，支持主流工業(yè)協(xié)議和標(biāo)準(zhǔn)如 AVEVA PI System、OPC-UA、OPC-DA、MQTT 等，實現(xiàn)對多種外部系統(tǒng)的數(shù)據(jù)接入。這種兼容性極大擴(kuò)展了其應(yīng)用場景，無論是傳統(tǒng)的工業(yè)系統(tǒng)還是新興的物聯(lián)網(wǎng)平臺，都能輕松接入。

靈活的同步規(guī)則配置

用戶可以根據(jù)實際業(yè)務(wù)需求配置數(shù)據(jù)同步規(guī)則，實現(xiàn)對數(shù)據(jù)同步策略的高度定制化。無論是降采樣、按條件篩選，還是選擇性同步不同級別的關(guān)鍵信息，TDengine Enterprise 都能通過配置滿足企業(yè)對數(shù)據(jù)的不同要求，確保同步的數(shù)據(jù)不僅有效，而且最為相關(guān)。

斷線續(xù)傳與重新訂閱

在復(fù)雜的工業(yè)環(huán)境中，網(wǎng)絡(luò)穩(wěn)定性往往難以保障。TDengine Enterprise 支持?jǐn)嗑€續(xù)傳和重新訂閱功能，確保即使在網(wǎng)絡(luò)中斷時，數(shù)據(jù)的同步也不會丟失，系統(tǒng)能夠在網(wǎng)絡(luò)恢復(fù)后繼續(xù)完成未完成的傳輸任務(wù)，保證數(shù)據(jù)完整性。

歷史數(shù)據(jù)遷移

當(dāng)企業(yè)需要進(jìn)行系統(tǒng)升級或更換時，TDengine Enterprise 提供了便捷的歷史數(shù)據(jù)遷移功能。用戶可以輕松將歷史數(shù)據(jù)從舊系統(tǒng)無縫遷移到新系統(tǒng)，確保數(shù)據(jù)的持續(xù)性和一致性，避免因系統(tǒng)變更而造成的數(shù)據(jù)丟失或不兼容問題。

此外，TDengine Enterprise 的數(shù)據(jù)訂閱功能賦予用戶極大的靈活性。用戶可以根據(jù)業(yè)務(wù)需求自由選擇訂閱的數(shù)據(jù)范圍，無論是單個數(shù)據(jù)庫、一張超級表，甚至是帶有篩選條件的查詢語句，均可實現(xiàn)選擇性的同步。通過這種方式，用戶可以將真正關(guān)心的數(shù)據(jù)，如離線數(shù)據(jù)或亂序數(shù)據(jù)，從邊緣側(cè)同步到云端或其他集群，最大限度地優(yōu)化數(shù)據(jù)傳輸效率，減少帶寬占用和資源浪費。

在實際的工業(yè)場景中，比如一個生產(chǎn)車間（以下圖為例），TDengine Enterprise 可以高效地實現(xiàn)邊云協(xié)同架構(gòu)的應(yīng)用。生產(chǎn)車間內(nèi)的設(shè)備產(chǎn)生的實時數(shù)據(jù)存儲在邊緣側(cè)的 TDengine 中。隨后，部署在分廠的 TDengine 會訂閱車間的生產(chǎn)數(shù)據(jù)，并根據(jù)業(yè)務(wù)需求靈活配置同步規(guī)則，如降采樣或僅同步超出閾值的數(shù)據(jù)。同理，集團(tuán)總部的 TDengine 會進(jìn)一步訂閱各個分廠的數(shù)據(jù)，完成集團(tuán)維度的數(shù)據(jù)匯總和分析。這種多層次、分級的數(shù)據(jù)同步架構(gòu)，保證了從生產(chǎn)車間到集團(tuán)總部的數(shù)據(jù)流動高效、實時且具備業(yè)務(wù)相關(guān)性。

與傳統(tǒng)的離線數(shù)據(jù)同步方式相比，TDengine Enterprise 提供了多項顯著的優(yōu)勢：

• 零代碼配置：無需編寫復(fù)雜的代碼，用戶只需通過簡單的配置即可實現(xiàn)邊緣和云端的數(shù)據(jù)同步。
• 自動化程度高：跨區(qū)域的數(shù)據(jù)同步可以自動完成，減少了手動操作中的出錯率，顯著提高了運維效率。
• 無緩存需求：TDengine 通過優(yōu)化傳輸機(jī)制，避免了大批量數(shù)據(jù)同步時帶來的網(wǎng)絡(luò)帶寬阻塞問題，使數(shù)據(jù)傳輸更加平滑、高效。
• 靈活、實時的數(shù)據(jù)同步：通過數(shù)據(jù)訂閱方式實現(xiàn)的同步支持規(guī)則配置，能夠根據(jù)具體業(yè)務(wù)需求靈活調(diào)整數(shù)據(jù)的傳輸頻率和內(nèi)容。
• 統(tǒng)一的數(shù)據(jù)模型：邊緣側(cè)和云端均使用 TDengine，確保了數(shù)據(jù)模型的一致性，大大降低了數(shù)據(jù)治理的復(fù)雜度，提升了管理效率。

針對制造業(yè)企業(yè)普遍面臨的數(shù)據(jù)同步挑戰(zhàn)，TDengine Enterprise 提供了一個具備實時性、靈活性和高效性的解決方案，尤其是在大規(guī)模數(shù)據(jù)同步和網(wǎng)絡(luò)環(huán)境復(fù)雜的情況下，極大優(yōu)化了數(shù)據(jù)傳輸?shù)男屎头€(wěn)定性，避免了傳統(tǒng)方式中定期傳輸大數(shù)據(jù)量所導(dǎo)致的資源浪費和帶寬擁堵問題。

邊云協(xié)同在某大型油田項目中的應(yīng)用

在某大型油田的生產(chǎn)管理項目中，用戶需要集成多個系統(tǒng)，如自動化數(shù)據(jù)采集與控制、生產(chǎn)視頻監(jiān)控、工業(yè)物聯(lián)網(wǎng)、生產(chǎn)數(shù)據(jù)服務(wù)和智能化生產(chǎn)管理等，同時也需要建設(shè)各環(huán)節(jié)的信息化采集標(biāo)準(zhǔn)。然而，隨著時間推移，項目中原先使用的 Oracle 系統(tǒng)在應(yīng)對大規(guī)模時序數(shù)據(jù)的存儲和處理時，逐漸暴露出一些瓶頸問題：

1. 在面對復(fù)雜查詢和大數(shù)據(jù)集的聚合時，寫入和查詢效率顯著下降，系統(tǒng)性能逐漸衰減；
2. 隨著數(shù)據(jù)量的不斷增加，磁盤空間壓力增大，運維成本日益增加；
3. 在分布式企業(yè)管理模式下，數(shù)據(jù)協(xié)同效率較低，難以滿足企業(yè)快速增長的業(yè)務(wù)需求。

為了解決這些問題，該項目團(tuán)隊對多種技術(shù)方案進(jìn)行了深入的驗證，最終選擇將 Oracle 系統(tǒng)中的時序數(shù)據(jù)存儲切換至 TDengine，并借助其邊云協(xié)同技術(shù)，實現(xiàn)了邊緣側(cè)數(shù)據(jù)到云端的實時匯聚與同步。

具體實施方案中，多個不同的 TDengine 服務(wù)將全量的歷史數(shù)據(jù)及后續(xù)產(chǎn)生的數(shù)據(jù)實時同步至云端 TDengine。TDengine 的核心組件之一——taosX，只需在數(shù)據(jù)接收方部署，并通過一條簡單的命令，即可完成包括歷史數(shù)據(jù)遷移、實時同步及兩者混合的處理流程。

例如，使用以下命令可以將某臺服務(wù)器的?db1?歷史數(shù)據(jù)及實時數(shù)據(jù)同步到本地的?db2?數(shù)據(jù)庫：

taosx?run -f 'taos://192.168.1.101:6030/db1?mode=all' -t 'taos://localhost:6030/db2' -v

此外，taosX 還支持基于 TDengine 的 WAL 日志進(jìn)行數(shù)據(jù)訂閱，通過事件驅(qū)動順序處理數(shù)據(jù)。無論是實時數(shù)據(jù)的插入，還是歷史數(shù)據(jù)的補(bǔ)錄，所有數(shù)據(jù)都能夠?qū)崟r同步到目標(biāo)集群，確保數(shù)據(jù)完整性和時效性。

實施該方案后，多個 TDengine 服務(wù)實現(xiàn)了跨省數(shù)據(jù)實時同步，將邊緣數(shù)據(jù)匯聚至云端總部集群。當(dāng)前總部集群存儲的數(shù)據(jù)量已經(jīng)達(dá)到 36 TB，總數(shù)據(jù)量超過 1034 億條，數(shù)據(jù)壓縮率控制在 10% 以內(nèi)。通過 TDengine 的高效壓縮技術(shù)，大幅節(jié)省了存儲資源。

自項目將 Oracle 切換為 TDengine 后，優(yōu)化效果顯著，主要體現(xiàn)在以下幾方面：

1. 數(shù)據(jù)寫入性能大幅提升，硬件資源占用減少，系統(tǒng)運行更加高效；
2. 集群支持在線水平擴(kuò)展，能夠輕松應(yīng)對未來的擴(kuò)展需求，提升了系統(tǒng)靈活性；
3. 靈活的數(shù)據(jù)生命周期管理，便于過期數(shù)據(jù)的自動清理和歸檔，簡化了數(shù)據(jù)管理流程；
4. 秒級 500 萬測點的同步速率，有效滿足了該項目對邊云協(xié)同場景的高實時性需求。

通過 TDengine 邊云協(xié)同解決方案的應(yīng)用，該油田項目實現(xiàn)了對海量時序數(shù)據(jù)的高效管理和實時處理，解決了原有系統(tǒng)性能瓶頸問題，為未來的擴(kuò)展和智能化生產(chǎn)奠定了堅實基礎(chǔ)。

結(jié)語

TDengine 邊云協(xié)同解決方案憑借其高效的數(shù)據(jù)同步能力、靈活的配置機(jī)制和強(qiáng)大的實時處理性能，成為應(yīng)對工業(yè)互聯(lián)網(wǎng)場景下數(shù)據(jù)管理挑戰(zhàn)的有力工具。通過統(tǒng)一的邊云架構(gòu)，時序數(shù)據(jù)庫 TDengine 能夠在滿足邊緣側(cè)實時處理需求的同時，將大量數(shù)據(jù)高效匯聚至云端，幫助企業(yè)在數(shù)據(jù)分析和決策上實現(xiàn)全局視角。希望本文能夠幫助企業(yè)更好地理解邊云協(xié)同技術(shù)的優(yōu)勢，并為其未來的數(shù)字化轉(zhuǎn)型和智能化生產(chǎn)提供有價值的參考。