在工業(yè)自動化的領(lǐng)域中，數(shù)據(jù)的采集、存儲和分析是實(shí)現(xiàn)高效決策和操作的基石。AVEVA Historian (原 Wonderware Historian) 作為領(lǐng)先的工業(yè)實(shí)時數(shù)據(jù)庫，專注于收集和存儲高保真度的歷史工藝數(shù)據(jù)。與此同時，TDengine 作為一款專為時序數(shù)據(jù)打造的高性能數(shù)據(jù)庫，在處理和分析大量實(shí)時、歷史時序數(shù)據(jù)方面展現(xiàn)出無與倫比的優(yōu)越性。

在最新發(fā)布的 TDengine 3.2.3.0 版本中，我們進(jìn)一步更新了 TDengine 的數(shù)據(jù)接入功能，推出了一款新的連接器，旨在實(shí)現(xiàn) AVEVA Historian 與 TDengine 的集成。基于此，本文將闡述把 AVEVA Historian 的歷史數(shù)據(jù)和實(shí)時數(shù)據(jù)整合進(jìn)入 TDengine 的創(chuàng)新方法，以及這種結(jié)合如何能夠極大地提升數(shù)據(jù)利用率，打造一個工業(yè)創(chuàng)新底座，推動工業(yè)自動化高效發(fā)展。

我們先來回顧下當(dāng)下工業(yè)場景幾種典型時序數(shù)據(jù)處理方案：

關(guān)系型數(shù)據(jù)庫（例如 Oracle/MySQL、達(dá)夢、南大通用）

關(guān)系型數(shù)據(jù)庫在處理海量時序數(shù)據(jù)時，讀寫性能較低，分布式支持差。隨著數(shù)據(jù)的增加，查詢的速度也會變慢。典型的應(yīng)用場景包括低頻監(jiān)控場景和電力 SCADA 歷史庫。

傳統(tǒng)工業(yè)實(shí)時庫（例如 PI、AVEVA Historian、亞控、海迅）

盡管傳統(tǒng)工業(yè)實(shí)時庫在工業(yè)數(shù)據(jù)存儲中有著長期的功效，但它們的架構(gòu)已經(jīng)過時，缺乏分布式解決方案，不能水平擴(kuò)展。而且，它們依賴于 Windows 等環(huán)境，在數(shù)據(jù)分析能力上較弱，且往往是封閉系統(tǒng)。這類數(shù)據(jù)庫主要用于 SCADA 系統(tǒng)和生產(chǎn)監(jiān)控系統(tǒng)。

NoSQL 數(shù)據(jù)庫（例如 MongoDB、Cassandra）

這類數(shù)據(jù)庫的問題在于計算實(shí)時性較差，查詢速度慢，對內(nèi)存和 CPU 的計算開銷大，沒有針對時序數(shù)據(jù)的優(yōu)化。它們主要用于處理非結(jié)構(gòu)化數(shù)據(jù)存儲和爬蟲數(shù)據(jù)。

Hadoop 大數(shù)據(jù)平臺（例如 HBase、Zookeeper、Redis、Flink/Spark）

雖然這類平臺支持分布式，但其采用非結(jié)構(gòu)化方式處理時序數(shù)據(jù)，組件眾多，架構(gòu)臃腫，單節(jié)點(diǎn)效率低，硬件和人力維護(hù)成本非常高。它們主要用于通用大數(shù)據(jù)平臺和輿情電商大數(shù)據(jù)。

在當(dāng)前的工業(yè)企業(yè)中，創(chuàng)新應(yīng)用需求旺盛，時序數(shù)據(jù)處理關(guān)鍵的應(yīng)用場景包括智能決策支持、設(shè)備故障預(yù)警、產(chǎn)品質(zhì)量分析與預(yù)測、智能制造與數(shù)字孿生、能耗管理與節(jié)能減排。這些關(guān)鍵場景突出了工業(yè)時序大數(shù)據(jù)在創(chuàng)新應(yīng)用中的核心價值，工業(yè)企業(yè)只有采用先進(jìn)的解決方案，才能夠加快創(chuàng)新步伐并在競爭激烈的市場中實(shí)現(xiàn)差異化。

在工業(yè)場景中，多個工廠或車間通常會部署獨(dú)立的 SCADA/Historian 系統(tǒng)，如 AVEVA Wonderware 和 PI 系統(tǒng)，以管理實(shí)時和歷史數(shù)據(jù)。這是目前工業(yè)自動化的常態(tài)，數(shù)據(jù)分布在各個現(xiàn)場的數(shù)據(jù)庫中。

時序數(shù)據(jù)向中心側(cè)集中的優(yōu)勢在于，它可以增強(qiáng)對數(shù)據(jù)的整體控制力，使得企業(yè)更好地利用它們的數(shù)據(jù)資產(chǎn)。數(shù)據(jù)的集中處理為全局?jǐn)?shù)據(jù)可視化帶來了可能，為業(yè)務(wù)創(chuàng)新提供靈感和快速驗(yàn)證的手段，幫助企業(yè)更好地管理和分析數(shù)據(jù)，快速響應(yīng)而提取有價值的洞見，并依此及時做出商業(yè)決策。

SCADA/Historian 也提供了數(shù)據(jù)集中方案，確實(shí)在某些方面能夠滿足需求，但面臨的挑戰(zhàn)是它們難以支持海量測點(diǎn)（傳感器、設(shè)備等）的數(shù)據(jù)量，難以滿足創(chuàng)新應(yīng)用的對大量獲取時序數(shù)據(jù)的需求。當(dāng)數(shù)據(jù)量非常大時，SCADA/Historian 數(shù)據(jù)消費(fèi)接口的能力較弱，可能會經(jīng)歷高延時，甚至無法獲取需要的數(shù)據(jù)集。

要有效應(yīng)對這些挑戰(zhàn)，需要從以下幾個方面優(yōu)化方案：

1. 利用好已有的投資：很多情況下，企業(yè)已經(jīng)采購、部署了多套 SCADA/Historian，投資已經(jīng)形成，方案必須考慮如何充分利用已建成系統(tǒng)的能力，避免重復(fù)投資。
2. 提高數(shù)據(jù)消費(fèi)接口的能力：增強(qiáng)數(shù)據(jù)接口的能力，以確保即使在數(shù)據(jù)量很大時也能快速、高效地消費(fèi)數(shù)據(jù)。
3. 降低延時：提升系統(tǒng)的性能以減少處理和提取數(shù)據(jù)時的延時，確?？梢约皶r地獲取數(shù)據(jù)。
4. 實(shí)現(xiàn)實(shí)時和歷史數(shù)據(jù)的整合：數(shù)據(jù)的整合可以提高存儲空間利用率，并為分析和決策提供更完整的數(shù)據(jù)視圖。實(shí)時和歷史數(shù)據(jù)的結(jié)合還能支持更復(fù)雜的創(chuàng)新應(yīng)用，如預(yù)測維護(hù)、能耗管理和優(yōu)化操作。
5. 支撐海量測點(diǎn)：提高系統(tǒng)能夠處理的測點(diǎn)數(shù)量，以適應(yīng)越來越多傳感器數(shù)據(jù)的需求。
6. 推動創(chuàng)新應(yīng)用的發(fā)展：構(gòu)建支持創(chuàng)新的基礎(chǔ)架構(gòu)，應(yīng)對創(chuàng)新應(yīng)用需求、新興的工業(yè)應(yīng)用，如預(yù)測性維護(hù)、資產(chǎn)性能管理、能效優(yōu)化等，需要對數(shù)據(jù)進(jìn)行更深層次的消費(fèi)、分析和更快速的處理。

TDengine 作為一款極簡的時序大數(shù)據(jù)平臺，具有高效的數(shù)據(jù)寫入和查詢性能，適合處理海量、時序性的工業(yè)數(shù)據(jù)。除了實(shí)時與歷史合一的時序庫核心功能外，還提供了消息隊列、事件驅(qū)動流計算、讀寫緩存，以及多數(shù)據(jù)源接入的能力。如何實(shí)現(xiàn)融合上述六點(diǎn)的方案優(yōu)化，TDengine 也給出了答案。

整合 AVEVA Historian 數(shù)據(jù)到 TDengine

本文方案中，將利用 TDengine 企業(yè)版 taosX 的多數(shù)據(jù)源接入能力匯集多路 AVEVA Historian 現(xiàn)場數(shù)據(jù)，持久化至中心側(cè) TDengine 集群。

其特點(diǎn)如下：

1. 數(shù)據(jù)遷移：從 AVEVA Historian 系統(tǒng)遷移現(xiàn)有的歷史數(shù)據(jù)到 TDengine。
2. 數(shù)據(jù)同步：支持實(shí)時和歷史數(shù)據(jù)的同步，實(shí)現(xiàn) AVEVA Historian 實(shí)時(Runtime.dbo.Live)和歷史數(shù)據(jù)(Runtime.dbo.History)至 TDengine 之間的數(shù)據(jù)同步。
3. 支持海量測點(diǎn)：TDengine 支持 10 億時間線，輕松應(yīng)對目前工業(yè)大數(shù)據(jù)場景。
4. 充分利用已有投資：已有的 AVEVA Historian 將繼續(xù)發(fā)揮作用，同時在 TDengine 平臺上支持創(chuàng)新業(yè)務(wù)的開發(fā)。
5. 時序數(shù)據(jù)優(yōu)化存儲：利用 TDengine 的高效數(shù)據(jù)壓縮和存儲機(jī)制，優(yōu)化數(shù)據(jù)在新平臺上的存儲。
6. 查詢性能顯著提升：與 Historian 的查詢性能比較，TDengine 無論在投影查詢還是聚合查詢，均提升幾個數(shù)量級的性能。
7. 支持?jǐn)?shù)據(jù)訂閱：TDengine 提供了結(jié)構(gòu)化的消息隊列，當(dāng)數(shù)據(jù)入庫的同時，可根據(jù)業(yè)務(wù)需要創(chuàng)建主題，支持實(shí)時消費(fèi)以驅(qū)動創(chuàng)新應(yīng)用落地。
8. 支持多種部署環(huán)境：LInux & Windows
9. 支持完整 ETL 特性：taosX 組件支持完整的解析、提取拆分、過濾以及數(shù)據(jù)映射，零代碼即可完成外部數(shù)據(jù)源接入 TDengine。

本方案的基本環(huán)境要求有：

• AVEVA Historian 接入需 TDengine 企業(yè)版支持
• 遠(yuǎn)端采集需通過代理模式接入，采集現(xiàn)場須部署 taosX Agent
• 支持 AVEVA Historian 2017 以后的版本

下面以數(shù)據(jù)遷移為例，介紹 AVEVA Historian 的歷史視圖數(shù)據(jù)如何遷移至 TDengine。

1. 先完成準(zhǔn)備工作：在 TDengine 中建庫、建超級表
2. 登入 taosExplorer，創(chuàng)建數(shù)據(jù)寫入任務(wù)，類型：AVEVA Historian
3. 填寫任務(wù)基本信息：任務(wù)名稱、目標(biāo)數(shù)據(jù)庫、Historian 服務(wù)器地址、端口、認(rèn)證信息
4. 填寫采集配置：migrate 模式、選擇標(biāo)簽點(diǎn)位范圍(默認(rèn)所有點(diǎn)位)、設(shè)置源數(shù)據(jù)起始終止時間、查詢時間窗口跨度
5. 數(shù)據(jù)解析與過濾：因 Historian 發(fā)送過來的數(shù)據(jù)是結(jié)構(gòu)化的，無需額外配置解析器和過濾器
6. 數(shù)據(jù)映射：選擇目標(biāo)超級表后，系統(tǒng)會自動匹配部分字段，沒有匹配的字段，手工指定映射關(guān)系即可
7. 啟動任務(wù)

數(shù)據(jù)同步 synchronize 與數(shù)據(jù)遷移 migrate 類似，不同之處在于：

• 支持兩個來源：Runtime.dbo.History & Runtime.dbo.Live
• 任務(wù)結(jié)束時間可以不設(shè)定，意味著可以一直同步下去，直至人工終止

本方案還可以與 OPC 方案融合：歷史數(shù)據(jù)通過 Historian 導(dǎo)入 TDengine，實(shí)時數(shù)據(jù)通過 OPC 匯集至 TDengine。新方案的優(yōu)點(diǎn)是，通過 OPC 支持的訂閱特性實(shí)現(xiàn)實(shí)時數(shù)據(jù)即時采集，一旦變化就立刻采集至 TDengine。
新方案同樣是基于 taosX 組件，維護(hù)方便。

結(jié)語

對于曾投資 AVEVA Wonderware 的工業(yè)企業(yè)，在面臨數(shù)字化轉(zhuǎn)型的挑戰(zhàn)時，Historian Connector 結(jié)合 TDengine 的解決方案便能成為他們的強(qiáng)大后盾。此方案不僅能快速打通數(shù)字化轉(zhuǎn)型的難關(guān)，還能攜業(yè)務(wù)創(chuàng)新之力，開拓數(shù)字化潛能。

此外，本方案具有優(yōu)秀的融合能力，可與各類數(shù)據(jù)采集解決方案無縫結(jié)合。例如，通過與 OPC Connector 數(shù)據(jù)采集方案的整合，歷史數(shù)據(jù)得以從 Historian 順暢導(dǎo)入至 TDengine，同時實(shí)時數(shù)據(jù)亦可通過 OPC 即時匯集至 TDengine，實(shí)現(xiàn)現(xiàn)場時序數(shù)據(jù)的高效集中處理。

本方案所依托的是 TDengine Enterprise 企業(yè)版的強(qiáng)大功能（且未來我們將推出 TDengine Cloud 版本）。如若貴企業(yè)正尋求這方面的解決方案，歡迎主動接洽北京濤思的專業(yè)商務(wù)團(tuán)隊，一起探索先進(jìn)的數(shù)據(jù)處理之道。

關(guān)于 AVEVA Wonderware

Wonderware 公司成立于 1987 年，總部位于美國洛杉磯，是全球工業(yè)自動化領(lǐng)域的知名品牌。其先被施耐德電氣收購，后并入 AVEVA。AVEVA Wonderware 應(yīng)用行業(yè)廣泛，在連續(xù)生產(chǎn)過程控制和離散制造領(lǐng)域優(yōu)勢明顯。主要應(yīng)用于煙草生產(chǎn)、水處理、電力、石油天然氣、化工、鋼鐵冶金、食品飲料、制藥、汽車制造、物流倉儲等行業(yè)。其產(chǎn)品包括但不限于 In Touch HMI（人機(jī)界面）、System Platform（系統(tǒng)平臺）、Historian（歷史數(shù)據(jù)記錄與分析）。