在這種情況下要讓 AI 賦能傳統(tǒng)產(chǎn)業(yè)，首先要做的就是將散布各處的各種系統(tǒng)、包括各種版本采集的數(shù)據(jù)進行匯聚，消除數(shù)據(jù)孤島。但由于各種系統(tǒng)都存在，各種工業(yè)協(xié)議都存在，數(shù)據(jù)匯聚不僅僅是簡單的匯總功能，還需要對各個數(shù)據(jù)源的數(shù)據(jù)進行清洗、加工、處理，才能進入統(tǒng)一的平臺。

為什么要做數(shù)據(jù)匯聚？

隨著工業(yè)設備生成的數(shù)據(jù)量越來越大，現(xiàn)代運營越來越依賴于訪問大規(guī)模數(shù)據(jù)集。像預測性維護和遠程監(jiān)控這樣的新技術，基于更全面的跨站點信息時，可以為企業(yè)帶來更大的效益。數(shù)據(jù)科學家需要大量高質(zhì)量的數(shù)據(jù)，才能使他們的AI和機器學習應用更有效；而決策者希望在一個統(tǒng)一的界面下實時查看全部的統(tǒng)計數(shù)據(jù)。

然而，許多企業(yè)仍然依賴手動工作來匯聚數(shù)據(jù)——比如，不得不通過電子郵件發(fā)送 CSV 文件與其他團隊共享數(shù)據(jù)。對于需要實時處理的應用程序來說，這意味著數(shù)據(jù)在電子郵件到達之前就已經(jīng)過時了。由于各種工業(yè)系統(tǒng)中存在不同的數(shù)據(jù)協(xié)議，即使是已經(jīng)有一套自動化解決方案的企業(yè)，通常也依賴于定制的連接器，而這些連接器維護成本很高。

當所有數(shù)據(jù)都匯聚在一個系統(tǒng)中時，訪問和處理數(shù)據(jù)的效率就得到了提高。團隊在處理實時數(shù)據(jù)時，可以更快地響應，更有效地解決問題。組織內(nèi)外的工作人員可以更有效地合作。

此外，數(shù)據(jù)匯聚后，可以利用先進的第三方 AI 分析工具，做更好的異常監(jiān)測，實時報警，并為產(chǎn)能、成本、設備維護等提供更好的預測，讓決策者有更好的宏觀整體把控。

TDengine 提供有數(shù)據(jù)質(zhì)量保證的數(shù)據(jù)匯聚

借助 TDengine，您可以輕松匯聚來自各種數(shù)據(jù)源的工業(yè)數(shù)據(jù)。

包括但不限于：

• 現(xiàn)代工業(yè)數(shù)據(jù)協(xié)議，如 MQTT 和 OPC（UA 和 DA）
• 數(shù)據(jù)收集代理，如 Telegraf 和 collectd
• 傳統(tǒng)實時數(shù)據(jù)庫系統(tǒng)，如 PI System 和 AVEVA Historian
• 傳統(tǒng)的關系型數(shù)據(jù)庫，如 MySQL、Oracle、SQL Server、PostgreSQL 等
• Apache Kafka
• CSV文件

TDengine 是一個零代碼平臺，只需最少的配置即可實現(xiàn)工業(yè)數(shù)據(jù)源的 ETL（提取、轉(zhuǎn)換和加載）流程。

當這些數(shù)據(jù)源的數(shù)據(jù)匯聚到 TDengine 后，您可以輕松集成可視化和商業(yè)智能工具，如 Seeq 或 Power BI，以構建全公司范圍的儀表板和報告，也可以與第三方 AI 工具連接進行高級分析。您的應用程序和算法可以實時訪問所有數(shù)據(jù)，實現(xiàn)全球洞察和效率，無需自定義代碼或手動操作。

ETL

當您將數(shù)據(jù)匯聚到 TDengine 后，您可以對數(shù)據(jù)進行修改，以確保上下文得以保留并滿足業(yè)務需求。這個過程被稱為「提取、轉(zhuǎn)換和加載」（ETL）。例如，多個站點都在記錄溫度，一個站點的設備記錄的是華氏度，而其他站點的設備使用攝氏度。您可以配置 TDengine 來將這些數(shù)據(jù)轉(zhuǎn)換為相同的度量單位，使您的應用程序可以訪問更標準化的數(shù)據(jù)集。

借助 TDengine 靈活且易于配置的 ETL 選項（在 GUI 中提供），您可以對數(shù)據(jù)進行轉(zhuǎn)換、映射、拆分和解析，使其完全適合您的應用場景。

便捷：如同在線文檔一樣簡單，只需輸入對方郵件地址，設置訪問權限和訪問時長即可實現(xiàn)分享。對方收到郵件，接受邀請后，可即刻訪問。

安全：訪問權限可以控制到一個運行實例、一個庫或訂閱的 topic；對于每個授權的用戶，對分享的資源，系統(tǒng)會生成一個訪問用的 token；而且可以設置訪問到期時間。

便捷而又安全的數(shù)據(jù)共享，讓部門或合作伙伴之間能快速洞察業(yè)務的運營。

便捷安全的數(shù)據(jù)共享設計

只需一個電子郵件地址即可共享您的數(shù)據(jù)，通過對用戶或用戶組的精細訪問控制來實現(xiàn)對數(shù)據(jù)的保護，包括可配置到期時間、數(shù)據(jù)加密和安全訪問令牌。

• 即使不是 TDengine Cloud 的用戶，也可通過電子郵件地址受邀加入組織。
• 可在 TDengine Cloud 用戶管理系統(tǒng)中，可以通過角色、用戶組和權限模板來限制受邀人員的訪問權限。
• 在組織、實例和數(shù)據(jù)庫級別分配多級管理角色，以便對大型組織進行細顆粒度的管理。

實例和數(shù)據(jù)庫共享

支持授予整個 TDengine 實例的開發(fā)人員權限，以快速授予內(nèi)部團隊的完整訪問權限，或向特定合作伙伴授予對特定數(shù)據(jù)庫資源的有限訪問權限。 企業(yè)可以使用 TDengine 的數(shù)據(jù)復制功能輕松實現(xiàn)時序數(shù)據(jù)跨云或跨區(qū)域的數(shù)據(jù)復制。

• 支持組織級、實例級、數(shù)據(jù)庫級多級資源權限控制，并且支持不同顆粒度的訪問控制。
• 只需一個實例令牌即可在任何云或區(qū)域中的時序數(shù)據(jù)庫之間復制數(shù)據(jù)。

訂閱主題共享

通過創(chuàng)建具有用戶管理權限的訂閱主題，輕松安全的共享相關數(shù)據(jù)。 用戶可以使用 SQL 來定義訂閱的主題，不僅能訂閱原始數(shù)據(jù)，而且能訂閱聚合、匯總或轉(zhuǎn)換后的數(shù)據(jù)。只需定義要共享的數(shù)據(jù)主題，TDengine 即可將訂閱數(shù)據(jù)推送給授權訪問的消費者。

• 可以授予用戶訪問特定主題的權限，但限制其訪問組織的其余數(shù)據(jù)。
• 使用 SQL 定義需要訂閱的主題以適應不同的目標消費者。

傳統(tǒng)的數(shù)據(jù)分析平臺無法滿足現(xiàn)代分析的要求，更不用說引入 AI 了。通常，它們?nèi)狈卸鄠€站點數(shù)據(jù)的能力，導致分析工具無法獲得公司運營的全局視圖。更重要的是，它們多為封閉的系統(tǒng)，很難與更為先進的第三方分析工具集成。

TDengine 為工業(yè)數(shù)據(jù)提供了一個開放的解決方案，使用戶能夠利用現(xiàn)代的數(shù)據(jù)分析工具進一步挖掘數(shù)據(jù)的價值，支持公有云和私有化部署，進而實現(xiàn)更為開放、低成本、并具水平擴張能力的實時分析。并且，TDengine 是一個開放的系統(tǒng)，可以與最新的 AI 分析工具無縫集成，能夠使 AI 賦能傳統(tǒng)企業(yè)。

尤其值得一提的是，TDengine 在 TDengine 3.3.6.0 版本全新推出了時序數(shù)據(jù)分析 AI 智能體 TDgpt，將 AI 能力原生集成進數(shù)據(jù)庫內(nèi)核，大幅降低了智能分析的門檻。無論是預測還是異常檢測，用戶只需通過 SQL 即可調(diào)用 AI 模型，快速實現(xiàn)智能化運維與業(yè)務優(yōu)化。TDgpt 還支持靈活擴展，適配多種時序基礎模型，包括 Uni2TS、Chronos、TimesFM、Time-MoE 以及自研模型 TDtsfm，并開放 SDK，進一步提升了 TDengine 在 AI 時代下的分析能力。

借助 SQL 的一致性接口，無論是傳統(tǒng)分析還是 AI 驅(qū)動的智能分析，用戶都可以通過 TDengine 簡單高效地完成復雜的數(shù)據(jù)探索。通過 TDgpt、超級表、存儲和計算分離、數(shù)據(jù)按時間分區(qū)、預計算等多種手段，TDengine 提供了強大而又簡單易用的分析能力。具體而言，TDengine 的分析能力具有以下顯著特點：

1. 多個數(shù)據(jù)采集點之間的高效聚合：TDengine 針對時序數(shù)據(jù)的特點，提出創(chuàng)新的超級表概念，將時序數(shù)據(jù)與標簽數(shù)據(jù)分離存儲。無需 JOIN，只需要指定超級表的標簽過濾條件，就可將同類型的數(shù)據(jù)采集點進行高效的聚合操作，這使得組織和查找數(shù)據(jù)更加簡單。此外，TDengine 允許向每個數(shù)據(jù)采集點添加多達 128 個標簽，也支持在以后刪除和更新這些標簽。TDengine 提供了一種將數(shù)據(jù)切割成多維立方體以進行多維分析的強大方法。
2. 計算存儲分離：從 3.0 起，TDengine 支持存算分離，系統(tǒng)可以根據(jù)需要，啟動一個或多個計算節(jié)點，增加計算資源，加快復雜查詢的速度，減小 Latency。對于云平臺，計算節(jié)點可以是一個容器，可以快速地啟動或停止，計算存儲分離將充分利用云平臺的彈性計算資源。
3. 歷史與實時數(shù)據(jù)的分析完全統(tǒng)一：TDengine 按時間段對數(shù)據(jù)自動進行分區(qū)，即使是 10 年的數(shù)據(jù)，也無需分庫分表，不存在檔案數(shù)據(jù)一說。為降低存儲成本，按照數(shù)據(jù)的新老程度，實行多級存儲，但對用戶而言是完全透明的。無論是查詢最新數(shù)據(jù)還是 10 年前的數(shù)據(jù)，只是查詢的起止時間不同。
4. 時序數(shù)據(jù)分析的特有功能：TDengine 在標準 SQL 的基礎上，針對時序數(shù)據(jù)的處理進行擴展，提供累計求和、時間加權平均、移動平均、變化率、時間窗口，session 窗口、state 窗口、插值等眾多時序數(shù)據(jù)分析功能。通過時間窗口和插值，可以將不同數(shù)據(jù)采集點的數(shù)據(jù)按固定時間間隔將數(shù)據(jù)的時間戳對齊，便于后續(xù)的進一步分析。可以參考 SQL手冊了解更多信息。
5. 實時數(shù)據(jù)分析：TDengine 既提供了時間驅(qū)動的流式計算(連續(xù)查詢)，也提供了事件驅(qū)動的流式計算。不僅可以對單個數(shù)據(jù)采集點生成的數(shù)據(jù)流進行流式計算，也可以對多個采集點的數(shù)據(jù)流聚合后進行流式計算。對自定義函數(shù)的支持更是讓流計算能方便地提供對數(shù)據(jù)的前置處理、轉(zhuǎn)換或任何其他復雜計算。關于流式計算，請看用戶文檔流式計算。
6. 支持Python：不僅提供 Python 連接器，還支持 Pandas 及 data frame，讓喜愛 Python 的數(shù)據(jù)分析師可以很方便地利用各種 Python 庫做時序數(shù)據(jù)分析。
7. 其他便捷的數(shù)據(jù)訪問、分析手段：利用 TDengine 提供的命令行程序，可以在終端執(zhí)行各種即席查詢、或者導入導出數(shù)據(jù)。提供 R 與 Matlab 以及多種編程語言的連接器，支持與 Grafana、Looker 的無縫集成。
8. 與先進的 AI 分析工具無縫集成：TDengine 是一個開放系統(tǒng)，提供標準接口，可以輕松與最新的 AI 分析工具集成。
9. AI 分析原生集成，零門檻調(diào)用模型能力：TDengine 內(nèi)置 AI 智能體 TDgpt，用戶僅需通過 SQL 中的 forecast() 和 anomaly_window() 函數(shù)，即可調(diào)用主流時序預測與異常檢測模型，無需編程經(jīng)驗、無需理解算法細節(jié)，快速實現(xiàn)智能化分析。TDgpt 還支持通過開放 SDK 動態(tài)集成自研或第三方模型，具備零門檻、零初期投入、零時間差等優(yōu)勢，為工業(yè) 4.0 場景下的智能決策提供更大助力。

在典型的工業(yè) 4.0 場景下，TDengine 可以作為時序數(shù)據(jù)倉庫(Time-Series Data Warehouse) 使用，不再需要將時序數(shù)據(jù)導入到專門的數(shù)據(jù)倉庫或數(shù)據(jù)湖進行處理分析，數(shù)據(jù)平臺的成本將大幅降低。

Q&A

Q：TDengine 在支持 AI 的高級數(shù)據(jù)分析中，核心亮點是什么？什么是 TDgpt？

A：TDengine 的核心亮點是原生集成 AI 能力，其在 3.3.6.0 版本推出的時序數(shù)據(jù)分析 AI 智能體 “TDgpt” 是關鍵：TDgpt 集成于數(shù)據(jù)庫內(nèi)核，用戶無需編程或理解算法細節(jié)，僅通過 SQL 的forecast()（預測）和anomaly_window()（異常檢測）函數(shù)就能調(diào)用 AI 模型；同時支持擴展適配 Uni2TS、Chronos、TDtsfm（自研）等模型，開放 SDK，大幅降低工業(yè)場景智能分析門檻。

Q：用戶如何在 TDengine 中調(diào)用 AI 模型進行預測或異常檢測？需要額外編程嗎？

A：無需額外編程，通過 SQL 即可零門檻調(diào)用：TDengine 內(nèi)置 TDgpt AI 智能體，將預測、異常檢測等 AI 能力封裝為標準 SQL 函數(shù)，用戶只需在查詢中使用forecast()函數(shù)實現(xiàn)時序預測，用anomaly_window()函數(shù)實現(xiàn)異常檢測；整個過程無需掌握 AI 算法細節(jié)，也不用修改業(yè)務代碼，適合快速落地智能化運維與業(yè)務優(yōu)化。

Q：相比傳統(tǒng)數(shù)據(jù)分析平臺，TDengine 在處理工業(yè)時序數(shù)據(jù)時，有哪些獨特的分析能力？

A：TDengine 針對工業(yè)時序數(shù)據(jù)設計了多重獨特能力：① 用 “超級表” 實現(xiàn)多采集點高效聚合，無需 JOIN，支持 128 個標簽與多維分析；② 存算分離架構，可彈性擴展計算節(jié)點，加快復雜查詢速度；③ 歷史與實時數(shù)據(jù)統(tǒng)一分析，自動按時間分區(qū)，10 年數(shù)據(jù)無需分庫分表，多級存儲對用戶透明；④ 擴展 SQL 支持累計求和、移動平均、時間窗口、插值等時序特有功能。

?Q：TDengine 支持哪些數(shù)據(jù)分析工具或編程語言集成？能和 AI 分析工具無縫對接嗎？

A：TDengine 支持多工具與語言集成，且可無縫對接 AI 分析工具：① 編程語言方面，提供 Python（支持 Pandas/DataFrame）、R、Matlab 連接器，方便數(shù)據(jù)分析師使用；② 可視化與 BI 工具方面，可與 Grafana、Looker 無縫集成；③ 作為開放系統(tǒng)，它通過標準接口支持與最新 AI 分析工具對接，同時內(nèi)置 TDgpt 實現(xiàn) AI 原生集成，無需額外搭建數(shù)據(jù)鏈路。

Q：在工業(yè) 4.0 場景中，TDengine 作為時序數(shù)據(jù)倉庫使用，能帶來什么優(yōu)勢？

A：在工業(yè) 4.0 場景中，TDengine 作為時序數(shù)據(jù)倉庫的核心優(yōu)勢是降低成本 + 簡化流程：① 無需將時序數(shù)據(jù)導入專門的數(shù)據(jù)倉庫或數(shù)據(jù)湖，直接在 TDengine 內(nèi)完成從實時采集、存儲到 AI 分析的全流程；② 支持公有云與私有化部署，具備水平擴張能力，能集中多站點數(shù)據(jù)提供全局視圖，避免傳統(tǒng)封閉系統(tǒng)的局限；③ 結合實時流計算（時間 / 事件驅(qū)動）與自定義函數(shù)，可快速處理設備監(jiān)控、產(chǎn)能預測等工業(yè)核心需求。

高性能

TDengine 工業(yè)大數(shù)據(jù)平臺的核心是高性能的時序數(shù)據(jù)庫。TSBS 基準測試結果顯示，TDengine 的寫入、查詢、存儲性能均遠超 InfluxDB、TimescaleDB 等時序數(shù)據(jù)庫。

從上圖可以看出，TDengine 的查詢平均響應時間全面優(yōu)于 InfluxDB 和 TimescaleDB。并且由于 TDengine 高效的存儲引擎設計，大規(guī)模場景的數(shù)據(jù)所占用的存儲空間最少。

有關測試報告執(zhí)行結果和重現(xiàn)步驟的詳細信息，請參閱《基于 TSBS 標準數(shù)據(jù)集時序數(shù)據(jù)庫 TimescaleDB、InfluxDB 與 TDengine 在 IoT 場景性能對比測試》。

TDengine 在數(shù)據(jù)寫入、數(shù)據(jù)查詢、存儲空間、資源消耗等方面都表現(xiàn)出了超強的性能，因此，采用高性能時序數(shù)據(jù)庫 TDengine，可將典型的物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)平臺的總擁有成本降低至少 50% 以上。

都是時序數(shù)據(jù)庫，為什么 TDengine 能如此出眾？這是由于 TDengine 采用了獨特的存儲結構，而不是照搬通用的 KV 存儲或 LSM 存儲引擎。它充分利用時序數(shù)據(jù)的特點而進行了各種優(yōu)化，創(chuàng)新地提出了包括“一個數(shù)據(jù)采集點一張表”與“超級表”的設計，詳細請看 TDengine 數(shù)據(jù)模型和基本概念。

分布式

TDengine 的設計是基于單個硬件、軟件系統(tǒng)不可靠，基于任何單臺計算機都無法提供足夠計算能力和存儲能力處理海量數(shù)據(jù)的假設而進行設計的。因此 TDengine 從研發(fā)的第一天起，就是按照水平擴展、高可用架構進行設計的分布式時序數(shù)據(jù)庫。通過對數(shù)據(jù)進行分區(qū)、分片，而且采用虛擬節(jié)點(vnode)技術，保證系統(tǒng)的處理能力是水平擴展的。如果要增加系統(tǒng)的處理能力，只需要增加新的節(jié)點即可。

圖為 TDengine 的邏輯結構。

與 TDengine 2.0 最大不同的是，TDengine 3.0 元數(shù)據(jù)管理也變成了完全分布式的，TDengine 管理節(jié)點不再存儲每個設備或每張表的元數(shù)據(jù)了，而是把這些元數(shù)據(jù)還有時序數(shù)據(jù)完全存儲在 vnode 里，之后會用 B+ 樹、一致性哈希來處理。這樣一來，我們在插入一個數(shù)據(jù)到任何一個片或者一個區(qū)時都不再需要經(jīng)過任何中間節(jié)點，徹底解決了高基數(shù)的問題。

經(jīng)過測試，TDengine 3.0 完全能夠支持 10 億個設備、100 臺服務器節(jié)點，同時整個啟動時間也很快，不到一分鐘整個集群就能啟動。

分級存儲

TDengine 提供了數(shù)據(jù)分級存儲的功能，將不同時間段的數(shù)據(jù)存儲在掛載的不同介質(zhì)上的目錄里，從而實現(xiàn)不同“熱度”的數(shù)據(jù)存儲在不同的存儲介質(zhì)上，充分利用存儲，節(jié)約成本。比如，最新采集的數(shù)據(jù)需要經(jīng)常訪問，對硬盤的讀取性能要求高，那么用戶可以配置將這些數(shù)據(jù)存儲在 SSD 盤上。超過一定期限的數(shù)據(jù)，查詢需求量沒有那么高，那么可以存儲在相對便宜的 HDD 盤上。

了解更多