互聯(lián)網(wǎng).png "工業(yè)互聯(lián)網(wǎng)")
-1.png "公共事業(yè)")
證.png "認(rèn)證")
伙伴.png "云服務(wù)伙伴")
伙伴.png "技術(shù)伙伴")
伙伴.png "社區(qū)伙伴")
工業(yè)大數(shù)據(jù)
中文名：工業(yè)大數(shù)據(jù)
英文名：Industrial Big Data
核心：高效的數(shù)據(jù)分析
用途：優(yōu)化生產(chǎn)流程
目錄
工業(yè)大數(shù)據(jù)的定義
工業(yè)大數(shù)據(jù)是指在工業(yè)領(lǐng)域中生成、收集和存儲的大規(guī)模數(shù)據(jù)集合。這些數(shù)據(jù)集合涵蓋了從傳感器、監(jiān)控設(shè)備、生產(chǎn)線、供應(yīng)鏈等多個來源采集的大量數(shù)據(jù)。工業(yè)大數(shù)據(jù)的特點(diǎn)包括以下幾個方面：
- 數(shù)據(jù)規(guī)模：工業(yè)大數(shù)據(jù)的規(guī)模通常非常龐大，以TB或PB為單位進(jìn)行計(jì)量。這些數(shù)據(jù)集合可能包含數(shù)百萬或數(shù)十億個數(shù)據(jù)點(diǎn)，涵蓋了廣泛的時間范圍和各種數(shù)據(jù)類型。
- 數(shù)據(jù)類型：工業(yè)大數(shù)據(jù)可以包括多種類型的數(shù)據(jù)，包括結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和時間序列數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)是以表格形式存儲的數(shù)據(jù)，如傳感器測量數(shù)據(jù)、工藝參數(shù)等。非結(jié)構(gòu)化數(shù)據(jù)包括文本、圖像、視頻等形式的數(shù)據(jù)。時間序列數(shù)據(jù)是按時間順序排列的數(shù)據(jù)，用于分析趨勢和預(yù)測。
- 數(shù)據(jù)來源：工業(yè)大數(shù)據(jù)的來源非常廣泛，包括傳感器、監(jiān)控設(shè)備、生產(chǎn)設(shè)備、供應(yīng)鏈系統(tǒng)等。這些數(shù)據(jù)可以是實(shí)時生成的，也可以是歷史數(shù)據(jù)的存檔。數(shù)據(jù)收集可以通過物聯(lián)網(wǎng)設(shè)備、傳感器網(wǎng)絡(luò)、工業(yè)自動化系統(tǒng)等進(jìn)行。
- 數(shù)據(jù)處理和分析：工業(yè)大數(shù)據(jù)的處理和分析是關(guān)鍵步驟。數(shù)據(jù)處理包括數(shù)據(jù)清洗、整合和轉(zhuǎn)換，以確保數(shù)據(jù)的質(zhì)量和一致性。數(shù)據(jù)分析涉及使用各種數(shù)據(jù)分析技術(shù)和算法，如統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)、人工智能等，從數(shù)據(jù)中提取有價值的信息和洞察。
工業(yè)大數(shù)據(jù)的分析和利用可以為企業(yè)帶來許多好處，包括優(yōu)化生產(chǎn)過程、提高生產(chǎn)效率、降低成本、改進(jìn)產(chǎn)品質(zhì)量、預(yù)測和預(yù)防故障等。通過對工業(yè)大數(shù)據(jù)的深度分析和應(yīng)用，企業(yè)可以實(shí)現(xiàn)智能化生產(chǎn)和管理，提升競爭力，并開拓新的商業(yè)機(jī)會。
工業(yè)大數(shù)據(jù)發(fā)展歷程
工業(yè)大數(shù)據(jù)的發(fā)展歷程可以追溯到過去幾十年的工業(yè)自動化和信息化進(jìn)程。以下是工業(yè)大數(shù)據(jù)發(fā)展的主要里程碑：
- 傳感器和自動化技術(shù)的發(fā)展：20世紀(jì)80年代和90年代，隨著傳感器技術(shù)和自動化技術(shù)的不斷進(jìn)步，工業(yè)設(shè)備和生產(chǎn)線開始廣泛采集各種數(shù)據(jù)，實(shí)現(xiàn)自動化控制和生產(chǎn)監(jiān)控。
- 數(shù)據(jù)存儲和處理技術(shù)的進(jìn)步：隨著計(jì)算機(jī)技術(shù)和存儲技術(shù)的不斷進(jìn)步，企業(yè)能夠存儲和處理大規(guī)模的工業(yè)數(shù)據(jù)。數(shù)據(jù)庫技術(shù)和數(shù)據(jù)倉庫技術(shù)的發(fā)展為工業(yè)大數(shù)據(jù)的存儲和管理提供了基礎(chǔ)。
- 互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的興起：2000年代以來，互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的興起為工業(yè)大數(shù)據(jù)的發(fā)展提供了新的機(jī)遇。企業(yè)可以通過互聯(lián)網(wǎng)連接和物聯(lián)網(wǎng)設(shè)備實(shí)時收集和傳輸大量的工業(yè)數(shù)據(jù)。
- 大數(shù)據(jù)技術(shù)的崛起：隨著大數(shù)據(jù)技術(shù)的興起，如分布式計(jì)算、云計(jì)算、大數(shù)據(jù)存儲和處理技術(shù)的發(fā)展，企業(yè)能夠更好地管理和分析大規(guī)模的工業(yè)數(shù)據(jù)。
- 數(shù)據(jù)分析和智能化應(yīng)用的發(fā)展：近年來，數(shù)據(jù)分析和人工智能技術(shù)的快速發(fā)展，為工業(yè)大數(shù)據(jù)的價值提取和應(yīng)用提供了更多的可能性。機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、預(yù)測分析等技術(shù)被廣泛應(yīng)用于工業(yè)數(shù)據(jù)的分析和預(yù)測。
- 工業(yè)4.0的推動：工業(yè)4.0的概念提出了將物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等技術(shù)應(yīng)用于工業(yè)生產(chǎn)和管理的新模式。工業(yè)4.0的推動促進(jìn)了工業(yè)大數(shù)據(jù)的應(yīng)用和發(fā)展，并推動了工業(yè)智能化的進(jìn)程。
綜上所述，工業(yè)大數(shù)據(jù)的發(fā)展是一個逐步演進(jìn)的過程，受到傳感器技術(shù)、自動化技術(shù)、計(jì)算機(jī)技術(shù)、互聯(lián)網(wǎng)技術(shù)、大數(shù)據(jù)技術(shù)和人工智能技術(shù)等多個因素的推動。隨著技術(shù)的不斷進(jìn)步和應(yīng)用場景的不斷拓展，工業(yè)大數(shù)據(jù)將繼續(xù)發(fā)揮重要作用，幫助企業(yè)實(shí)現(xiàn)智能化生產(chǎn)和管理，并推動工業(yè)領(lǐng)域的創(chuàng)新和發(fā)展。
工業(yè)大數(shù)據(jù)的特征
工業(yè)大數(shù)據(jù)的特征包括以下幾個方面：
- 大規(guī)模（Volume）：工業(yè)大數(shù)據(jù)涉及到龐大的數(shù)據(jù)量，通常是TB或PB級別的數(shù)據(jù)。這些數(shù)據(jù)來自于各種傳感器、機(jī)器和工業(yè)設(shè)備，是典型的時序數(shù)據(jù)。
- 多樣性（Variety）：它包括各種類型的數(shù)據(jù)，如結(jié)構(gòu)化數(shù)據(jù)（如數(shù)據(jù)庫記錄）、半結(jié)構(gòu)化數(shù)據(jù)（如日志文件）和非結(jié)構(gòu)化數(shù)據(jù)（如圖像、視頻和音頻）。
- 實(shí)時性（Real-Time）：工業(yè)大數(shù)據(jù)以極高的速度產(chǎn)生，需要實(shí)時快速處理和分析。實(shí)時數(shù)據(jù)處理在許多工業(yè)應(yīng)用中尤為重要。
- 價值（Value）：雖然數(shù)據(jù)量巨大，但真正有價值的數(shù)據(jù)可能只占很小一部分。關(guān)鍵在于能夠有效地從大量數(shù)據(jù)中提取有用信息。
- 可靠性（Veracity）：在工業(yè)環(huán)境中，數(shù)據(jù)的準(zhǔn)確性和可靠性至關(guān)重要，尤其是當(dāng)這些數(shù)據(jù)用于關(guān)鍵決策和自動化過程時。
- 復(fù)雜性（Complexity）：工業(yè)大數(shù)據(jù)來自多個來源，可能需要整合不同格式和來自不同設(shè)備的數(shù)據(jù)，這增加了處理和分析的復(fù)雜性。
這些特征共同構(gòu)成了工業(yè)大數(shù)據(jù)的獨(dú)特性，它們提供了改進(jìn)和優(yōu)化工業(yè)流程的巨大機(jī)遇，同時也對于如何存儲、管理和分析這些數(shù)據(jù)提出了挑戰(zhàn)。工業(yè)大數(shù)據(jù)的產(chǎn)生通常來源于各種傳感器、機(jī)器和工業(yè)設(shè)備，是較為典型的時序數(shù)據(jù)。近年來，隨著時序數(shù)據(jù)庫（Time Series Database，TSDB）的出現(xiàn)及發(fā)展，如 TDengine，國內(nèi)外越來越多的工業(yè)企業(yè)開始選擇用這一類數(shù)據(jù)庫來處理工業(yè)數(shù)據(jù)。
工業(yè)大數(shù)據(jù)的處理流程
工業(yè)大數(shù)據(jù)的處理流程可以分為幾個關(guān)鍵步驟，每個步驟都是理解和利用這些數(shù)據(jù)的重要組成部分：
- 數(shù)據(jù)采集：這是流程的起點(diǎn)，涉及從各種來源（如傳感器、機(jī)器、生產(chǎn)線、日志文件等）收集數(shù)據(jù)。在這個階段，需要確保數(shù)據(jù)的準(zhǔn)確性和完整性。
- 數(shù)據(jù)預(yù)處理：收集的數(shù)據(jù)通常是原始的，可能包含錯誤、重復(fù)或不完整的信息。預(yù)處理步驟包括清洗數(shù)據(jù)、格式化、處理缺失值和異常值，以便于進(jìn)一步分析。
- 數(shù)據(jù)存儲和管理：處理過的數(shù)據(jù)需要存儲在數(shù)據(jù)庫或數(shù)據(jù)倉庫中。這一步驟確保數(shù)據(jù)的安全存儲和高效訪問，并可能涉及大數(shù)據(jù)技術(shù)如 TDengine 或云存儲解決方案。
- 數(shù)據(jù)分析：這是處理流程中的核心步驟，涉及對數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析、模式識別、預(yù)測分析等。使用數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法可以從數(shù)據(jù)中提取深層次的見解和知識。
- 數(shù)據(jù)可視化：通過圖表、儀表盤和其他可視化工具，將分析結(jié)果呈現(xiàn)出來，幫助用戶更容易理解數(shù)據(jù)和分析結(jié)果。
- 決策和行動：最終，基于分析結(jié)果做出決策并采取行動，如優(yōu)化生產(chǎn)流程、預(yù)測設(shè)備維護(hù)需求、提升產(chǎn)品質(zhì)量等。
- 反饋和優(yōu)化：在實(shí)際應(yīng)用中持續(xù)監(jiān)控和評估所采取行動的效果，并根據(jù)反饋調(diào)整和優(yōu)化數(shù)據(jù)處理流程。
整個流程是迭代的，不斷調(diào)整和優(yōu)化以適應(yīng)新的數(shù)據(jù)和業(yè)務(wù)需求，從而最大化工業(yè)大數(shù)據(jù)的價值。
工業(yè)大數(shù)據(jù)在處理上面臨的挑戰(zhàn)
工業(yè)大數(shù)據(jù)處理面臨的挑戰(zhàn)主要可以分為以下幾個方面：
- 行業(yè)特定的 IT 資源短缺：在工業(yè)制造等特定領(lǐng)域，IT 專業(yè)人員相對較少，企業(yè)在使用復(fù)雜的數(shù)據(jù)處理系統(tǒng)時更依賴于系統(tǒng)集成公司，這增加了技術(shù)應(yīng)用和維護(hù)的難度。
- 現(xiàn)有系統(tǒng)的局限性：許多工業(yè)企業(yè)仍在使用基于傳統(tǒng)操作系統(tǒng)（如 Windows）的舊版工業(yè)軟件，如 PI System和 Wonderware。這些系統(tǒng)在界面和功能上相對過時，與現(xiàn)代的網(wǎng)絡(luò)和移動應(yīng)用相比顯得落后。
- 高昂的成本和封閉性：傳統(tǒng)工業(yè)軟件的費(fèi)用通?；跍y點(diǎn)數(shù)量收費(fèi)，費(fèi)用高昂，且在擴(kuò)展測點(diǎn)時需要重新談判許可證。此外，這些系統(tǒng)通常是封閉的，與第三方軟件的集成困難，限制了新技術(shù)的應(yīng)用。
- 企業(yè)并購和系統(tǒng)多樣性：大型制造集團(tuán)通常通過并購和分拆擁有多條生產(chǎn)線和多座工廠，導(dǎo)致存在多個不同的工業(yè)數(shù)據(jù)管理系統(tǒng)，使得數(shù)據(jù)集成和管理變得復(fù)雜。
- 數(shù)據(jù)清洗和治理挑戰(zhàn)：整合不同系統(tǒng)的數(shù)據(jù)需要進(jìn)行數(shù)據(jù)清洗、轉(zhuǎn)換和治理，這些看似簡單的任務(wù)在實(shí)施時卻具有高門檻。
- 長期投資與回報(bào)不匹配：過去十年，許多企業(yè)嘗試通過建設(shè)工業(yè)互聯(lián)網(wǎng)平臺來解決傳統(tǒng)數(shù)據(jù)處理問題，但這通常需要長期投資和高額的人員成本，而實(shí)際回報(bào)卻未達(dá)預(yù)期，導(dǎo)致企業(yè)決策層對工業(yè)互聯(lián)網(wǎng)和 AI 技術(shù)的態(tài)度普遍不高。
工業(yè)互聯(lián)網(wǎng)的成功與否與工業(yè)大數(shù)據(jù)的處理息息相關(guān)，但在工業(yè)大數(shù)據(jù)的處理上仍然存在著很多問題。即使是一些較為流行的時序數(shù)據(jù)庫，也未能完全解決企業(yè)業(yè)務(wù)發(fā)展中面臨的數(shù)據(jù)處理難題，遑論老牌的實(shí)時數(shù)據(jù)庫，一些問題如系統(tǒng)復(fù)雜導(dǎo)致的運(yùn)維難度大、系統(tǒng)封閉難以與第三方軟件對接、自有分析能力弱、價格昂貴維護(hù)成本高、非標(biāo)準(zhǔn) SQL 學(xué)習(xí)成本高，以及缺乏真正的云原生化和水平擴(kuò)展能力等問題，仍然難以忽視。
作為一款高性能、分布式的物聯(lián)網(wǎng)、工業(yè)大數(shù)據(jù)平臺，TDengine 針對工業(yè)大數(shù)據(jù)的核心特征進(jìn)行了功能設(shè)計(jì)和優(yōu)化，大幅提高了數(shù)據(jù)插入和查詢的性能，有效降低了硬件或云服務(wù)的成本高性能處理能力可以應(yīng)對海量工業(yè)大數(shù)據(jù)的存儲和分析需求；同時其還提供水平擴(kuò)展的能力，隨著數(shù)據(jù)量的增加，只需簡單地增加服務(wù)器擴(kuò)容，即可滿足不斷增長的工業(yè)大數(shù)據(jù)處理需求；具備開放開源的生態(tài)環(huán)境，提供業(yè)界流行的標(biāo)準(zhǔn) SQL 接口以及 Python、R 或其他開發(fā)接口，方便使用者集成各種機(jī)器學(xué)習(xí)、人工智能算法或其他應(yīng)用。一些企業(yè)的實(shí)踐顯示，相比傳統(tǒng)的數(shù)據(jù)處理方案，在應(yīng)對工業(yè)大數(shù)據(jù)處理上，TDengine 更為降本增效。
工業(yè)大數(shù)據(jù)的有效處理方案
TDengine 可以為工業(yè)大數(shù)據(jù)處理提供一個有效、靈活且成本可控的解決方案，適應(yīng)不同規(guī)模和需求的企業(yè)，有望打破傳統(tǒng)工業(yè)軟件市場的壟斷，促進(jìn)工業(yè)數(shù)字化轉(zhuǎn)型的進(jìn)程。當(dāng)前，TDengine 已經(jīng)成功應(yīng)用于眾多工業(yè)企業(yè)的工業(yè)大數(shù)據(jù)架構(gòu)改造項(xiàng)目中。通過引入 TDengine，這些能源項(xiàng)目實(shí)現(xiàn)了以下優(yōu)化改造：
- 減少組件數(shù)量：傳統(tǒng)的工業(yè)大數(shù)據(jù)架構(gòu)可能需要部署多個組件來處理時序數(shù)據(jù)的存儲、處理和分析。而引入TDengine 后，能夠?qū)⒍鄠€組件整合為一個集成化的解決方案，大大減少了組件的數(shù)量和復(fù)雜度。
- 簡化架構(gòu)復(fù)雜度：傳統(tǒng)的工業(yè)大數(shù)據(jù)架構(gòu)往往需要復(fù)雜的數(shù)據(jù)流轉(zhuǎn)和處理流程，包括數(shù)據(jù)清洗、數(shù)據(jù)傳輸、數(shù)據(jù)存儲等。而 TDengine 除了時序數(shù)據(jù)庫功能外，還提供了流式計(jì)算、數(shù)據(jù)訂閱等功能，通過其高性能和高可擴(kuò)展性，能夠簡化整個架構(gòu)的復(fù)雜度，提高數(shù)據(jù)處理效率。
- 降低存儲成本：由于能源數(shù)據(jù)的規(guī)模龐大，傳統(tǒng)的存儲方法可能需要投入大量的存儲資源。而 TDengine 通過優(yōu)化存儲結(jié)構(gòu)和壓縮算法，可以顯著降低存儲成本，同時保證數(shù)據(jù)的高可靠性和高可用性。
- 提升業(yè)務(wù)響應(yīng)實(shí)時性：能源項(xiàng)目對業(yè)務(wù)的實(shí)時性要求較高，需要快速響應(yīng)和處理實(shí)時數(shù)據(jù)。引入 TDengine 后，能夠?qū)崿F(xiàn)高效的數(shù)據(jù)寫入、查詢和分析，保證業(yè)務(wù)的實(shí)時性要求得到滿足。
TDengine 提供的極簡架構(gòu)使得企業(yè)在工業(yè)大數(shù)據(jù)處理方面能夠輕松進(jìn)行運(yùn)維和管理。通過 TDengine，企業(yè)不再需要繁瑣的中間庫和中間表，簡化了數(shù)據(jù)處理流程，提高了效率。它還具備高效的數(shù)據(jù)存儲和即席查詢分析功能，讓工業(yè)大數(shù)據(jù)的處理更加高效；提供了豐富的接口支持和強(qiáng)大的聚合函數(shù)、窗口函數(shù)，使用戶能夠進(jìn)行更加靈活和高級的數(shù)據(jù)分析。此外，TDengine 還提供了數(shù)據(jù)同步工具，簡化從各種數(shù)據(jù)源（如 OPC-UA、OPC-DA、MQTT 等）到數(shù)據(jù)庫的數(shù)據(jù)接入過程，無需編寫一行代碼即可完成數(shù)據(jù)的實(shí)時收集和存儲，幫助企業(yè)更好地應(yīng)對實(shí)時數(shù)據(jù)處理的需求。
綜上所述，高效的數(shù)據(jù)庫工具如 TDengine 對于工業(yè)企業(yè)處理和分析大規(guī)模和復(fù)雜的工業(yè)大數(shù)據(jù)至關(guān)重要。它們能夠幫助企業(yè)克服數(shù)據(jù)挑戰(zhàn)，提高生產(chǎn)效率，優(yōu)化資源配置，并推動工業(yè)行業(yè)的轉(zhuǎn)型和發(fā)展。
工業(yè)大數(shù)據(jù)處理相關(guān)案例
數(shù)益工聯(lián) x TDengine
“TDengine 的寫入和查詢的效率非常高，平均在 10ms 以內(nèi)，性能完全滿足我們的要求。給人印象最深刻的是超強(qiáng)的數(shù)據(jù)壓縮能力，以某個客戶的數(shù)據(jù)情況為例：運(yùn)行一個月時間，產(chǎn)生約 3.2 億條記錄的數(shù)據(jù)，每條記錄包含約 800 列，實(shí)際占用的磁盤空間竟然不到 30GB?！?/p>
業(yè)務(wù)背景
工業(yè)設(shè)備物聯(lián)采集是數(shù)字化工廠建設(shè)的基礎(chǔ)，設(shè)備在運(yùn)行過程中會產(chǎn)生大量有價值的數(shù)據(jù)，例如：設(shè)備狀態(tài)、實(shí)時工藝參數(shù)、合格報(bào)廢數(shù)量、生產(chǎn)節(jié)拍、異常報(bào)警信息等，設(shè)備物聯(lián)采集可以為后續(xù)的數(shù)據(jù)分析挖掘提供最基礎(chǔ)、透明、可靠的數(shù)據(jù)來源。我們對自研工業(yè)物聯(lián)采集平臺的定位是：可對物聯(lián)數(shù)據(jù)進(jìn)行采集、存儲和查詢，可用于單個工廠或多個工廠的設(shè)備物聯(lián)采集?；跇I(yè)務(wù)場景的需求，我們決定選擇時序數(shù)據(jù)庫作為物聯(lián)采集平臺的核心組件，并調(diào)研了 InfluxDB、OpenTSDB、TDengine 幾款市面流行的產(chǎn)品，通過充分的測試和驗(yàn)證，TDengine 可以充分我們我們的業(yè)務(wù)需求。
架構(gòu)圖
中天鋼鐵 x TDengine
“目前 TDengine 在我們的生產(chǎn)環(huán)境中運(yùn)行平穩(wěn)，通過對生產(chǎn)環(huán)境的機(jī)器進(jìn)行檢測，CPU 使用率平常不到 1%，內(nèi)存使用率穩(wěn)定在 25%。在 TDengine 平穩(wěn)運(yùn)行的數(shù)周時間里，中天鋼鐵的新系統(tǒng)平均每周收錄 3000 多輛車輛表與 100 多條船只表，每張表中數(shù)據(jù)或多或少，累計(jì)數(shù)量已達(dá)百萬，業(yè)務(wù)的實(shí)際效果也達(dá)到了預(yù)期。”
業(yè)務(wù)背景
為了滿足業(yè)務(wù)發(fā)展需求，中天鋼鐵需要新開發(fā)一套功能，對廠內(nèi)每輛運(yùn)輸車輛貨運(yùn)船只的實(shí)時 GPS 位置進(jìn)行追蹤和實(shí)時監(jiān)控，通過大數(shù)據(jù)平臺對 GPS 坐標(biāo)進(jìn)行處理、分析、可視化展示。這些 GPS 數(shù)據(jù)來自于中天云商 App，只要運(yùn)輸車輛司機(jī)打開云商 App，系統(tǒng)每隔 10 秒會自動發(fā)送該車輛 GPS 信號到大數(shù)據(jù)平臺，再由大數(shù)據(jù)平臺分析處理，數(shù)據(jù)量之大可見一斑。本質(zhì)上來講，行車記錄、行船記錄都是時序數(shù)據(jù)，也因此，從數(shù)據(jù)特點(diǎn)出發(fā)中天鋼鐵開始對時序數(shù)據(jù)庫進(jìn)行選型調(diào)研，在進(jìn)行性能對比后選擇了 TDengine。
架構(gòu)圖
廣州某企業(yè)工業(yè)互聯(lián)網(wǎng)項(xiàng)目 x TDengine
“對應(yīng)于我們應(yīng)用的 TDengine 三節(jié)點(diǎn)（24 核，62GB）集群，程序輕輕松松就達(dá)到 qps 每秒 1 萬記錄的寫入性能。至于查詢性能，以當(dāng)天的功率曲線為例，按照 1 分鐘 1 個記錄，總共 1440 個計(jì)算數(shù)據(jù)計(jì)算，可以輕松地在 1 秒鐘內(nèi)通過 1 句 SQL 聚合當(dāng)天 1 萬條記錄而得到；還有每月的日溫度曲線，總共 30 個計(jì)算數(shù)據(jù)，當(dāng)月的 30 萬條記錄，也可以通過 avg 函數(shù)結(jié)合 Interval 在秒級查詢的時間間隔內(nèi)返回?！?/p>
業(yè)務(wù)背景
在作者所在企業(yè)的工業(yè)互聯(lián)網(wǎng)項(xiàng)目中，框架技術(shù)組件非?！爸亍?，用 Hadoop 的 HDFS/Hive 做原始數(shù)據(jù)保留、使用 HBase 保存計(jì)算后的數(shù)據(jù)、利用消息中間件 Kafka 同步各類數(shù)據(jù)庫，計(jì)算框架是使用 Flink 還是 Spark、分布式協(xié)調(diào)上選擇 ZooKeeper……這也導(dǎo)致學(xué)習(xí)和運(yùn)維成本非常高。在深入接觸 TDengine 后，作者發(fā)現(xiàn)其優(yōu)勢完全可以解決自身痛點(diǎn)——以設(shè)備數(shù)據(jù)模型創(chuàng)建超級表，以設(shè)備為單個子表，按時間先后順序連續(xù)存儲數(shù)據(jù)。在查詢的時候，可以提供預(yù)計(jì)算的統(tǒng)計(jì)數(shù)據(jù)，可以基于設(shè)備單個子表的 tag 做聚合的功能，結(jié)合流計(jì)算中的滑動窗口、滾動窗口概念，還可以快速地基于原始數(shù)據(jù)得到聚合統(tǒng)計(jì)結(jié)果。作者所在團(tuán)隊(duì)開始基于 TDengine 進(jìn)行數(shù)據(jù)架構(gòu)升級，并將經(jīng)驗(yàn)匯總成用戶案例在 TDengine 官網(wǎng)進(jìn)行發(fā)表。
格創(chuàng)東智 x TDengine
“目前我們已經(jīng)將 TDengine 應(yīng)用在數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)邊緣計(jì)算、數(shù)據(jù)存儲等諸多方面，在實(shí)際業(yè)務(wù)中也展現(xiàn)出了超強(qiáng)性能，特別是在處理超高頻的數(shù)據(jù)采集、邊緣智能計(jì)算框架、數(shù)據(jù)流引擎和數(shù)據(jù)模型等方面效果顯著，面對海量數(shù)據(jù)輕松實(shí)現(xiàn)實(shí)時全生命周期管理?！?/p>
業(yè)務(wù)背景
作為東智工業(yè)應(yīng)用智能平臺產(chǎn)品家族的物聯(lián)網(wǎng)平臺，G-Things 為工業(yè)設(shè)備提供了安全可靠的連接通信能力，其支持?jǐn)?shù)據(jù)采集、規(guī)則引擎、數(shù)據(jù)轉(zhuǎn)發(fā)、指令下發(fā)、數(shù)據(jù)可視化，同時提供開放的 API 與第三方系統(tǒng)快速對接，為工業(yè)企業(yè)提供高效率、低成本、高可靠的工業(yè)物聯(lián)網(wǎng)解決方案。為了讓用戶在最大程度上實(shí)現(xiàn)降本增效，G-Things 在接入不同的租戶時，會從用戶類型(輕量級、重量級等)、設(shè)備規(guī)模、設(shè)備采集的數(shù)據(jù)量等角度幫助用戶選擇適配合理的時序數(shù)據(jù)持久化落地方案。格創(chuàng)東智將 TDengine、Cassandra、OpenTSDB 在同等條件之下進(jìn)行了相關(guān)的讀寫性能對比測試，TDengine 以最優(yōu)性能脫穎而出。
從以上案例中可以明顯看出，在工業(yè)大數(shù)據(jù)場景下，處理龐大的時序數(shù)據(jù)需求是一個挑戰(zhàn)。傳統(tǒng)的數(shù)據(jù)解決方案可能無法滿足這種特殊需求，還因日漸臃腫的架構(gòu)產(chǎn)生更加高昂的維護(hù)成本，而如 TDengine 一般專業(yè)的時序數(shù)據(jù)庫則顯示出更加明顯的優(yōu)勢。通過進(jìn)行架構(gòu)改造，上述企業(yè)成功實(shí)現(xiàn)了工業(yè)大數(shù)據(jù)處理的降本增效目標(biāo)。如果你也面臨著類似的困擾，可以添加小T微信（tdengine）尋求幫助，和專業(yè)的解決方案架構(gòu)師進(jìn)行一對一的溝通。
參考文獻(xiàn)
[1] 《數(shù)據(jù)可視化分析技術(shù)在工業(yè)大數(shù)據(jù)領(lǐng)域的開放式應(yīng)用研究》.陳洪軍 林樹青 葉麗珠 余華
[2] 《加強(qiáng)數(shù)據(jù)治理體系建設(shè)，推動工業(yè)數(shù)據(jù)資源化深度融合》.大數(shù)據(jù)時代. 2023(10)
[3]《制造業(yè)中智能數(shù)據(jù)中臺的設(shè)計(jì)與實(shí)現(xiàn)》.文嘯. 2023(05)
[4]《TDengine 3.0 如何助力工業(yè)大數(shù)據(jù)實(shí)現(xiàn)邊云協(xié)同？taosX 功能詳解》.侯江燚
[5]《替換 Wonderware，云原生時序數(shù)據(jù)庫 TDengine 助力工業(yè)大數(shù)據(jù)數(shù)字化》.TDengine 售前團(tuán)隊(duì)
[6]《動輒百萬的工業(yè)大數(shù)據(jù)處理軟件，現(xiàn)在60秒就能用上》.陶建輝
[7]《TDengine 在數(shù)益工聯(lián)工業(yè)大數(shù)據(jù)采集平臺建設(shè)中的初步實(shí)踐》.易永耀 夏杭泰 鄧煒興
[8]《TDengine 在中天鋼鐵 GPS、 AIS 工業(yè)大數(shù)據(jù)調(diào)度中的落地》. 王旦
[9]《從 Hadoop 到 TDengine，我們在物聯(lián)網(wǎng)、工業(yè)大數(shù)據(jù)上走過的路和展望》.黃斯郡
[10]《格創(chuàng)東智選擇 TDengine，實(shí)現(xiàn)海量工業(yè)大數(shù)據(jù)實(shí)時全生命周期管理》.唐時濤
推薦詞條
網(wǎng)-1.png "物聯(lián)網(wǎng)")
相關(guān)文章
ogo-150x150.png "工業(yè)大數(shù)據(jù) - TDengine Database 時序數(shù)據(jù)庫"){kind=avatar}
構(gòu)筑生態(tài)環(huán)境實(shí)時數(shù)倉大數(shù)據(jù)平臺，TDengine 如何處理百億行級大數(shù)據(jù)？
作者：
廣東省環(huán)境科學(xué)研究院 沈華烈
境科學(xué)研究院-150x150.jpg "工業(yè)大數(shù)據(jù) - TDengine Database 時序數(shù)據(jù)庫"){kind=avatar}
