能源數(shù)據(jù)
-1.png)
中文名:能源數(shù)據(jù)
英文名:Energy Data
核心:準(zhǔn)確性、及時(shí)性和可靠性
用途:幫助企業(yè)做出科學(xué)、合理的決策
目錄
能源數(shù)據(jù)的定義
能源數(shù)據(jù)是指記錄和描述能源產(chǎn)業(yè)各個(gè)方面的信息,包括能源生產(chǎn)、供應(yīng)、消費(fèi)、儲(chǔ)備、價(jià)格、排放以及相關(guān)政策和技術(shù)的數(shù)據(jù)。這些數(shù)據(jù)可以通過(guò)各種途徑收集和整理,如能源企業(yè)的統(tǒng)計(jì)報(bào)表、政府部門(mén)的調(diào)查和監(jiān)測(cè)、國(guó)際組織的發(fā)布數(shù)據(jù)等。
能源數(shù)據(jù)主要包括以下幾個(gè)類(lèi)別:
- 能源產(chǎn)量和供應(yīng)數(shù)據(jù):這包括各種能源的產(chǎn)量、進(jìn)口和出口量、儲(chǔ)備量等。能源產(chǎn)量數(shù)據(jù)反映了能源資源的開(kāi)采和生產(chǎn)情況,供應(yīng)數(shù)據(jù)則反映了能源的供應(yīng)能力和穩(wěn)定性。
- 能源消費(fèi)和需求數(shù)據(jù):這包括各個(gè)部門(mén)和行業(yè)的能源消費(fèi)量、能源消費(fèi)結(jié)構(gòu)、能源需求預(yù)測(cè)等。能源消費(fèi)數(shù)據(jù)可以用于評(píng)估能源利用效率,指導(dǎo)能源節(jié)約和優(yōu)化能源結(jié)構(gòu)。
- 能源價(jià)格數(shù)據(jù):這包括各種能源的市場(chǎng)價(jià)格、價(jià)格趨勢(shì)、價(jià)格指數(shù)等。能源價(jià)格數(shù)據(jù)對(duì)于能源市場(chǎng)的運(yùn)行和能源企業(yè)的經(jīng)營(yíng)決策具有重要的參考意義。
- 能源排放數(shù)據(jù):這包括各種能源的二氧化碳排放量、污染物排放量等。能源排放數(shù)據(jù)是衡量能源產(chǎn)業(yè)對(duì)環(huán)境的影響和評(píng)估環(huán)境政策的重要指標(biāo)。
- 能源政策和技術(shù)數(shù)據(jù):這包括各國(guó)能源政策和法規(guī)、能源技術(shù)的研發(fā)和應(yīng)用情況等。能源政策和技術(shù)數(shù)據(jù)可以幫助分析能源市場(chǎng)的政策環(huán)境和技術(shù)進(jìn)步的影響。
能源數(shù)據(jù)的采集、整理和發(fā)布需要依靠能源部門(mén)、統(tǒng)計(jì)機(jī)構(gòu)、研究機(jī)構(gòu)等的協(xié)作和合作。同時(shí),為了確保數(shù)據(jù)的準(zhǔn)確性和可比性,還需要建立統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和指標(biāo)體系。
能源數(shù)據(jù)對(duì)于能源領(lǐng)域的決策者、研究人員和企業(yè)來(lái)說(shuō)具有重要的意義。通過(guò)分析能源數(shù)據(jù),可以了解能源市場(chǎng)的發(fā)展趨勢(shì)、評(píng)估能源供需狀況、制定能源政策和規(guī)劃等。同時(shí),能源數(shù)據(jù)也可以幫助評(píng)估能源的可持續(xù)性和環(huán)境影響,指導(dǎo)能源的合理利用和保護(hù)。因此,能源數(shù)據(jù)的準(zhǔn)確性、及時(shí)性和可靠性是至關(guān)重要的。
能源數(shù)據(jù)發(fā)展歷程
能源數(shù)據(jù)的發(fā)展歷程可以追溯到工業(yè)革命以后,隨著能源產(chǎn)業(yè)的興起和能源需求的不斷增長(zhǎng),人們對(duì)能源數(shù)據(jù)的需求也逐漸增加。以下是能源數(shù)據(jù)發(fā)展的主要階段:
- 初期數(shù)據(jù)收集階段(19 世紀(jì)末 – 20 世紀(jì)初):在 19 世紀(jì)末至 20 世紀(jì)初期,隨著煤炭、石油和天然氣等化石能源的廣泛應(yīng)用,人們開(kāi)始對(duì)能源數(shù)據(jù)進(jìn)行收集和整理。最早的能源數(shù)據(jù)是通過(guò)能源生產(chǎn)和銷(xiāo)售的統(tǒng)計(jì)記錄得到的,包括煤炭和石油的產(chǎn)量、進(jìn)口和出口數(shù)據(jù)等。
- 國(guó)家統(tǒng)計(jì)數(shù)據(jù)階段(20 世紀(jì) 20 年代 – 50 年代):在 20 世紀(jì) 20 年代至 50 年代,各國(guó)建立了統(tǒng)一的統(tǒng)計(jì)體系,并開(kāi)始對(duì)能源數(shù)據(jù)進(jìn)行系統(tǒng)的收集和發(fā)布。國(guó)家統(tǒng)計(jì)機(jī)構(gòu)成為能源數(shù)據(jù)的主要來(lái)源,能源產(chǎn)量、消費(fèi)、進(jìn)出口、價(jià)格等數(shù)據(jù)得到了較為全面和規(guī)范的統(tǒng)計(jì)。
- 國(guó)際組織數(shù)據(jù)發(fā)布階段(20 世紀(jì) 60 年代 – 90 年代):在 20 世紀(jì) 60 年代至 90 年代,隨著能源市場(chǎng)的國(guó)際化和全球化,國(guó)際組織開(kāi)始發(fā)布能源數(shù)據(jù),如國(guó)際能源署(IEA)和聯(lián)合國(guó)能源組織(UN Energy)等。這些組織通過(guò)調(diào)查和研究,提供了跨國(guó)和全球范圍的能源數(shù)據(jù),為國(guó)際能源合作和政策制定提供了重要的依據(jù)。
- 全球能源數(shù)據(jù)互聯(lián)網(wǎng)時(shí)代(21 世紀(jì)至今):隨著互聯(lián)網(wǎng)的快速發(fā)展和信息技術(shù)的進(jìn)步,能源數(shù)據(jù)的獲取和分享變得更加便捷和廣泛。能源數(shù)據(jù)的發(fā)布逐漸向開(kāi)放數(shù)據(jù)平臺(tái)和在線(xiàn)數(shù)據(jù)庫(kù)轉(zhuǎn)移,人們可以通過(guò)各種渠道和工具獲取和分析能源數(shù)據(jù)。同時(shí),數(shù)據(jù)科學(xué)和人工智能的發(fā)展也為能源數(shù)據(jù)的分析和應(yīng)用提供了更多的可能性。
在能源數(shù)據(jù)的發(fā)展過(guò)程中,數(shù)據(jù)的準(zhǔn)確性、標(biāo)準(zhǔn)化和可比性成為重要的問(wèn)題。各國(guó)和國(guó)際組織致力于制定統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和指標(biāo)體系,以確保數(shù)據(jù)的質(zhì)量和可靠性。此外,能源數(shù)據(jù)的時(shí)效性和更新性也變得越來(lái)越重要,以滿(mǎn)足實(shí)時(shí)決策和監(jiān)測(cè)能源市場(chǎng)的需求。
總的來(lái)說(shuō),能源數(shù)據(jù)的發(fā)展歷程反映了人們對(duì)能源信息的需求和對(duì)能源市場(chǎng)的關(guān)注程度的提高,也為能源決策和能源管理提供了更多的科學(xué)依據(jù)。
能源數(shù)據(jù)的特征
能源數(shù)據(jù)通常是通過(guò)能源設(shè)備、傳感器和測(cè)量?jī)x器等采集和記錄的,它包括能源的生產(chǎn)、傳輸、分配和使用等方面的數(shù)據(jù),這些數(shù)據(jù)通常具有時(shí)序數(shù)據(jù)的特征。時(shí)序數(shù)據(jù)是按照時(shí)間順序排列的數(shù)據(jù),能夠記錄和反映隨時(shí)間變化的特征和趨勢(shì)。能源數(shù)據(jù)的產(chǎn)生往往與時(shí)間相關(guān),例如電力的用電量、發(fā)電廠的發(fā)電量、風(fēng)力發(fā)電機(jī)的風(fēng)速等。
這些數(shù)據(jù)通常以時(shí)間戳作為標(biāo)識(shí),可以按照時(shí)間維度進(jìn)行分析和處理,既包括歷史數(shù)據(jù),反映了過(guò)去的能源產(chǎn)業(yè)和消費(fèi)情況;也包括實(shí)時(shí)數(shù)據(jù),反映了當(dāng)前的能源供需狀況。同時(shí),能源數(shù)據(jù)還具有地域性,不同國(guó)家和地區(qū)的能源數(shù)據(jù)可能存在差異和特點(diǎn)。
此外,能源數(shù)據(jù)還具有以下時(shí)序數(shù)據(jù)的特征:
- 時(shí)間連續(xù)性:能源數(shù)據(jù)通常以連續(xù)的時(shí)間序列形式存在,例如每小時(shí)、每天或每月的能源用量數(shù)據(jù)。這種連續(xù)性使得能夠?qū)δ茉磾?shù)據(jù)進(jìn)行時(shí)間序列分析和預(yù)測(cè)。
- 周期性:能源數(shù)據(jù)往往具有一定的周期性。例如,電力消耗在一天中的不同時(shí)間段可能存在顯著的波動(dòng),太陽(yáng)能發(fā)電的產(chǎn)量可能隨著白天和晚上的變化而變化。這種周期性可以通過(guò)時(shí)序數(shù)據(jù)分析方法來(lái)識(shí)別和利用。
- 實(shí)時(shí)性:能源數(shù)據(jù)的產(chǎn)生和更新通常是實(shí)時(shí)的,能夠及時(shí)反映能源的生產(chǎn)和使用情況。這要求對(duì)能源數(shù)據(jù)進(jìn)行實(shí)時(shí)監(jiān)測(cè)、處理和分析,以便及時(shí)采取相應(yīng)的措施。
- 大數(shù)據(jù)量:能源數(shù)據(jù)通常涉及到大量的數(shù)據(jù)量。由于能源是一個(gè)龐大而復(fù)雜的系統(tǒng),需要收集和分析大量的數(shù)據(jù)才能全面了解能源市場(chǎng)的情況和趨勢(shì)。
綜上所述,能源數(shù)據(jù)是通過(guò)采集和記錄能源相關(guān)設(shè)備和儀器產(chǎn)生的,具有時(shí)序數(shù)據(jù)的特征,可以按照時(shí)間維度進(jìn)行分析和處理,以揭示能源的特征和趨勢(shì),并支持能源決策和管理。
當(dāng)下,隨著能源行業(yè)的發(fā)展,能源企業(yè)在處理大規(guī)模時(shí)序數(shù)據(jù)方面面臨著一系列挑戰(zhàn),這些挑戰(zhàn)也阻礙了業(yè)務(wù)發(fā)展進(jìn)程。在這種背景下,在應(yīng)對(duì)時(shí)序數(shù)據(jù)處理上更為專(zhuān)業(yè)的時(shí)序數(shù)據(jù)庫(kù)(Time Series Database,TSDB),如 TDengine,逐漸成為眾多能源企業(yè)關(guān)注的焦點(diǎn),特別是那些面臨數(shù)字化轉(zhuǎn)型需求的企業(yè)。
能源數(shù)據(jù)的處理流程
能源數(shù)據(jù)的處理流程通常包括以下步驟:
- 數(shù)據(jù)收集:收集能源相關(guān)的數(shù)據(jù),包括供應(yīng)量、需求量、價(jià)格、消費(fèi)者行為等各種指標(biāo)。數(shù)據(jù)可以來(lái)自各個(gè)渠道,包括政府部門(mén)、能源公司、研究機(jī)構(gòu)等。
- 數(shù)據(jù)清洗:對(duì)收集到的數(shù)據(jù)進(jìn)行清洗和整理,包括去除重復(fù)數(shù)據(jù)、處理缺失值、修正錯(cuò)誤值等。確保數(shù)據(jù)的準(zhǔn)確性和完整性。
- 數(shù)據(jù)存儲(chǔ):將清洗后的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)中,以便后續(xù)的分析和使用。選擇合適的存儲(chǔ)方式可以提高數(shù)據(jù)的訪(fǎng)問(wèn)效率和可靠性。
- 數(shù)據(jù)分析:使用統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)等方法對(duì)能源數(shù)據(jù)進(jìn)行分析,探索數(shù)據(jù)之間的關(guān)系和趨勢(shì)。這可以幫助了解能源市場(chǎng)的供需情況、預(yù)測(cè)未來(lái)的能源需求等。
- 數(shù)據(jù)可視化:將分析結(jié)果可視化,以圖表、圖像等形式展示數(shù)據(jù)的洞察力。這有助于在決策過(guò)程中更好地理解和解釋數(shù)據(jù)。
- 數(shù)據(jù)應(yīng)用:將分析和可視化結(jié)果應(yīng)用于實(shí)際問(wèn)題中,例如能源政策制定、市場(chǎng)預(yù)測(cè)、資源配置等。根據(jù)需求,可以采取不同的應(yīng)用方式,如報(bào)告、決策支持系統(tǒng)、智能能源管理系統(tǒng)等。
需要注意的是,能源數(shù)據(jù)的處理流程可能因數(shù)據(jù)來(lái)源和具體需求而有所不同。不同的數(shù)據(jù)處理工具和技術(shù)也可以根據(jù)具體情況進(jìn)行選擇和應(yīng)用。
能源數(shù)據(jù)處理面臨的挑戰(zhàn)
伴隨新能源物聯(lián)網(wǎng)的發(fā)展,生產(chǎn)、分配、消耗等各個(gè)方面由設(shè)備及傳感器所產(chǎn)生的時(shí)序數(shù)據(jù)量越來(lái)越大,嚴(yán)重挑戰(zhàn)傳統(tǒng)的以關(guān)系型數(shù)據(jù)庫(kù)為核心的解決方案,數(shù)據(jù)處理性能低下、數(shù)據(jù)架構(gòu)臃腫、存儲(chǔ)成本高昂等問(wèn)題頻發(fā),如何應(yīng)對(duì)大數(shù)據(jù)量下的數(shù)據(jù)存儲(chǔ)、查詢(xún)、分析,成為了能源企業(yè)目前迫切需要解決的難點(diǎn),數(shù)字化轉(zhuǎn)型升級(jí)迫在眉睫。
具體來(lái)說(shuō),能源數(shù)據(jù)處理面臨的問(wèn)題主要包括以下幾個(gè)方面:
- 傳統(tǒng)數(shù)據(jù)庫(kù)難以應(yīng)對(duì)大規(guī)模數(shù)據(jù):能源行業(yè)的數(shù)據(jù)量通常非常龐大,傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)在處理大規(guī)模數(shù)據(jù)時(shí)性能和擴(kuò)展性較差,往往無(wú)法滿(mǎn)足能源企業(yè)的需求。這導(dǎo)致數(shù)據(jù)的存儲(chǔ)、查詢(xún)和分析變得困難和低效。
- 大數(shù)據(jù)組件復(fù)雜,開(kāi)發(fā)運(yùn)維成本高:針對(duì)大規(guī)模數(shù)據(jù)處理,能源企業(yè)可能會(huì)采用大數(shù)據(jù)技術(shù)組件,如 Hadoop、Spark 等。然而,這些組件的配置和管理相對(duì)復(fù)雜,需要專(zhuān)業(yè)的技術(shù)團(tuán)隊(duì)進(jìn)行開(kāi)發(fā)和運(yùn)維,增加了企業(yè)的成本和風(fēng)險(xiǎn)。
- 分析和查詢(xún)實(shí)時(shí)性要求難以滿(mǎn)足:能源行業(yè)需要對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析和查詢(xún),以及時(shí)發(fā)現(xiàn)問(wèn)題和做出決策。然而,傳統(tǒng)的數(shù)據(jù)處理方法往往無(wú)法滿(mǎn)足實(shí)時(shí)性要求,導(dǎo)致分析和查詢(xún)結(jié)果的響應(yīng)時(shí)間較長(zhǎng)。
- 能源行業(yè)安全要求高,有國(guó)產(chǎn)化需求:能源數(shù)據(jù)的安全性是能源企業(yè)關(guān)注的重要問(wèn)題。在國(guó)家對(duì)數(shù)據(jù)保護(hù)和信息安全要求越來(lái)越高的背景下,能源企業(yè)對(duì)于數(shù)據(jù)的安全性和控制權(quán)有更高的要求,因此需要具備國(guó)產(chǎn)化的數(shù)據(jù)處理解決方案。
- 跨區(qū)跨隔離數(shù)據(jù)同步麻煩,實(shí)時(shí)性響應(yīng)差:能源企業(yè)通常分布在不同的地理區(qū)域,跨區(qū)跨隔離的數(shù)據(jù)同步成為一個(gè)挑戰(zhàn)。傳統(tǒng)的數(shù)據(jù)同步方法往往需要耗費(fèi)大量的時(shí)間和資源,導(dǎo)致實(shí)時(shí)性響應(yīng)較差,無(wú)法滿(mǎn)足能源企業(yè)對(duì)于數(shù)據(jù)的及時(shí)性要求。
為應(yīng)對(duì)這些問(wèn)題,諸多能源企業(yè)考慮采用新一代的時(shí)序數(shù)據(jù)庫(kù)解決方案,如 TDengine。TDengine 具備高性能、高可擴(kuò)展性和實(shí)時(shí)處理能力,能夠應(yīng)對(duì)大規(guī)模能源數(shù)據(jù)的處理需求;支持多節(jié)點(diǎn)部署和數(shù)據(jù)同步機(jī)制,能夠?qū)崿F(xiàn)跨區(qū)跨隔離的數(shù)據(jù)同步,提高數(shù)據(jù)的實(shí)時(shí)性響應(yīng)能力。此外,它還提供了國(guó)產(chǎn)化的解決方案,滿(mǎn)足能源行業(yè)對(duì)于數(shù)據(jù)安全和控制權(quán)的要求。
能源數(shù)據(jù)處理有效的解決方案
以下是一些能源數(shù)據(jù)處理和分析的挑戰(zhàn)和應(yīng)對(duì)方法:
- 數(shù)據(jù)存儲(chǔ)和管理:由于能源數(shù)據(jù)的大規(guī)模,傳統(tǒng)的存儲(chǔ)和管理方法可能無(wú)法滿(mǎn)足需求。時(shí)序數(shù)據(jù)庫(kù)如 TDengine 提供了高效的時(shí)序數(shù)據(jù)存儲(chǔ)和管理能力,能夠應(yīng)對(duì)大規(guī)模能源數(shù)據(jù)的存儲(chǔ)需求。
- 數(shù)據(jù)清洗和預(yù)處理:在時(shí)序數(shù)據(jù)的處理中,經(jīng)常要對(duì)原始數(shù)據(jù)進(jìn)行清洗、預(yù)處理,再使用時(shí)序數(shù)據(jù)庫(kù)進(jìn)行長(zhǎng)久的儲(chǔ)存。在傳統(tǒng)的時(shí)序數(shù)據(jù)解決方案中,常常需要部署 Kafka、Flink 等流處理系統(tǒng)。而流處理系統(tǒng)的復(fù)雜性,帶來(lái)了高昂的開(kāi)發(fā)與運(yùn)維成本。TDengine 3.0 的流式計(jì)算引擎提供了實(shí)時(shí)處理寫(xiě)入的數(shù)據(jù)流的能力,還能夠支持亂序數(shù)據(jù)的寫(xiě)入。
- 數(shù)據(jù)分析和建模:能源數(shù)據(jù)的分析需要使用高效的算法和工具。例如,時(shí)間序列分析、機(jī)器學(xué)習(xí)和人工智能等方法可以應(yīng)用于能源數(shù)據(jù)的分析和建模,以提取有價(jià)值的信息和進(jìn)行預(yù)測(cè)。從時(shí)序數(shù)據(jù)特征出發(fā),TDengine 創(chuàng)新式打造了“超級(jí)表”和“一個(gè)數(shù)據(jù)采集點(diǎn)一張表”的建模方式,讓數(shù)據(jù)整合和關(guān)聯(lián)操作更加便捷。
- 可視化和報(bào)告:能源數(shù)據(jù)的可視化和報(bào)告對(duì)于決策者和利益相關(guān)者來(lái)說(shuō)非常重要。通過(guò)可視化工具和報(bào)告系統(tǒng),能源數(shù)據(jù)可以以直觀和易于理解的方式呈現(xiàn),幫助用戶(hù)更好地理解和利用數(shù)據(jù)。除了和 Grafana 一類(lèi)的第三方可視化工具進(jìn)行集成,TDengine 還打造了自己的可視化監(jiān)控工具 TDinsight、taosKeeper,為開(kāi)發(fā)者實(shí)時(shí)監(jiān)控 TDengine 集群運(yùn)行狀態(tài)提供了便利。
當(dāng)前,TDengine 已經(jīng)應(yīng)用在眾多能源企業(yè)的數(shù)據(jù)架構(gòu)改造項(xiàng)目中,它的引入幫助這些能源項(xiàng)目顯著減少了組件數(shù)量,簡(jiǎn)化了架構(gòu)的復(fù)雜度,降低存儲(chǔ)成本的同時(shí)業(yè)務(wù)響應(yīng)實(shí)時(shí)性也有所提升,業(yè)務(wù)寫(xiě)入、查詢(xún)和分析的實(shí)時(shí)性要求也得到了保障。

具體來(lái)講,TDengine 提供的極簡(jiǎn)架構(gòu)使能源企業(yè)在數(shù)據(jù)處理方面能夠輕松進(jìn)行運(yùn)維和管理;高效數(shù)據(jù)存儲(chǔ)和即席查詢(xún)分析功能,讓能源企業(yè)擺脫了繁瑣的中間庫(kù)和中間表,提高了數(shù)據(jù)處理的效率。同時(shí),它還提供豐富的接口支持和強(qiáng)大的聚合函數(shù)、窗口函數(shù),方便用戶(hù)進(jìn)行更加靈活和高級(jí)的數(shù)據(jù)分析。此外,TDengine 還提供了自帶的邊緣協(xié)同組件,使能源企業(yè)能夠輕松實(shí)現(xiàn)跨隔離的數(shù)據(jù)同步,提高數(shù)據(jù)的實(shí)時(shí)性和響應(yīng)能力。
總而言之,處理和分析大規(guī)模和復(fù)雜的能源數(shù)據(jù)需要使用如 TDengine 一般高效的數(shù)據(jù)庫(kù)工具。它們可以幫助能源企業(yè)克服數(shù)據(jù)挑戰(zhàn),從而更好地利用能源數(shù)據(jù),提高能源效率、優(yōu)化資源配置和推動(dòng)能源行業(yè)的轉(zhuǎn)型和發(fā)展。
能源數(shù)據(jù)處理相關(guān)案例
中節(jié)能電力發(fā)電運(yùn)維系統(tǒng) x TDengine
“目前基于 TDengine 我們構(gòu)建了中節(jié)能風(fēng)電運(yùn)維平臺(tái),使用后數(shù)據(jù)存儲(chǔ)優(yōu)勢(shì)明顯,整體壓縮比在 7-8 倍,數(shù)據(jù)查詢(xún)也實(shí)現(xiàn)了秒級(jí)響應(yīng)。未來(lái)我們考慮在每個(gè)風(fēng)電場(chǎng)站的三區(qū)部署一個(gè)單節(jié)點(diǎn) TDengine,作用不只是采集和轉(zhuǎn)發(fā),還要起到時(shí)序數(shù)據(jù)質(zhì)量治理以及實(shí)時(shí)模型預(yù)測(cè)的功能;而在集團(tuán)側(cè)我們會(huì)考慮基于 TDengine 構(gòu)建更多更復(fù)雜的計(jì)算指標(biāo)和高級(jí)模型;同時(shí)還要和任務(wù)調(diào)度引擎以及風(fēng)電行業(yè)標(biāo)準(zhǔn)集成?!?/p>
業(yè)務(wù)背景
盡管中節(jié)能風(fēng)力發(fā)電股份有限公司具備成熟的風(fēng)電開(kāi)發(fā)和運(yùn)維經(jīng)驗(yàn),但隨著在建風(fēng)場(chǎng)逐步增多以及各類(lèi)新型傳感器的加裝,傳統(tǒng)運(yùn)維方式越發(fā)吃力,嚴(yán)重限制業(yè)務(wù)發(fā)展。順應(yīng)時(shí)代潮流,數(shù)字化智能化的需求越來(lái)越強(qiáng)烈,其迫切需要基于海量時(shí)序數(shù)據(jù)的數(shù)據(jù)平臺(tái)來(lái)支撐繁雜的運(yùn)維工作。在選型調(diào)研工作中,中節(jié)能最初嘗試使用傳統(tǒng)的工控時(shí)序數(shù)據(jù)庫(kù),但隨著測(cè)點(diǎn)數(shù)量的增多,單機(jī)版架構(gòu)已經(jīng)無(wú)力支撐,后期他們嘗試了 InfluxDB 和 OpenTSDB 等分布式架構(gòu)的時(shí)序數(shù)據(jù)庫(kù),但性能又達(dá)不到要求。經(jīng)過(guò)反復(fù)對(duì)比測(cè)試以及應(yīng)用適配后,最終其選定 TDengine 作為數(shù)據(jù)平臺(tái)的時(shí)序數(shù)據(jù)解決方案。
架構(gòu)圖

上海電氣儲(chǔ)能智慧運(yùn)維系統(tǒng) x TDengine
“在使用 InfluxDB 一周以后執(zhí)行查詢(xún),內(nèi)存使用率達(dá)到了 80%,并且過(guò)了十分鐘也沒(méi)出來(lái)結(jié)果,已經(jīng)完全不適合業(yè)務(wù)使用。而在使用了 TDengine 近 1 個(gè)月后,使用相同的 SQL 語(yǔ)句,查詢(xún)只需要 0.2 秒,表現(xiàn)非常優(yōu)異。在壓縮方面,在采集點(diǎn)數(shù)量相同的情況下,壓縮后的數(shù)據(jù)量 TDengine 是 InfluxDB 的 1/3。”
業(yè)務(wù)背景
圍繞“一芯 3S”核心產(chǎn)品鏈,上海電氣著手構(gòu)建儲(chǔ)能核心競(jìng)爭(zhēng)力,“SmartOPS 儲(chǔ)能智慧運(yùn)維系統(tǒng)”就作為其中的關(guān)鍵組成部分,旨在實(shí)現(xiàn)全面監(jiān)測(cè)、預(yù)測(cè)性維護(hù)、熱管理分析等高級(jí)應(yīng)用。在本地部署中,該系統(tǒng)需要重點(diǎn)考慮本地硬件資源的限制,如站端系統(tǒng)的內(nèi)存、CPU 以及讀寫(xiě)性能等,選擇合適的時(shí)序數(shù)據(jù)庫(kù)成為破解問(wèn)題的關(guān)鍵。在對(duì) OpenTSDB、InfluxDB、Apache IoTDB、TDengine、ClickHouse 幾款數(shù)據(jù)庫(kù)進(jìn)行對(duì)比測(cè)試后,其嘗試在系統(tǒng)中落地了 TDengine。
八五信息新能源電力物聯(lián)網(wǎng)平臺(tái) x TDengine
“在應(yīng)用 TDengine 之后,系統(tǒng)讀寫(xiě)性能較原 TimescaleDB 數(shù)據(jù)庫(kù)提高 10 倍左右,在數(shù)據(jù)接入層我們不用再擔(dān)心數(shù)據(jù)庫(kù)的寫(xiě)入性能瓶頸;數(shù)據(jù)分析查詢(xún)應(yīng)用層也較原系統(tǒng)有較大提升,尤其是在時(shí)間跨度大的聚合類(lèi)分析幾乎瞬間響應(yīng)。在軟硬件方面,TDengine 幫助我們節(jié)省了系統(tǒng)大量的計(jì)算資源以及存儲(chǔ)資源,較原系統(tǒng)降低了大約 4 倍左右的存儲(chǔ)成本?!?/p>
平臺(tái)架構(gòu)

水電廠畸變波形分析及故障預(yù)判系統(tǒng) x TDengine
“TDengine 在該項(xiàng)目中順利投入使用,在現(xiàn)場(chǎng)運(yùn)行環(huán)境的表現(xiàn),如同我們的驗(yàn)證測(cè)試一樣,擁有優(yōu)異的寫(xiě)入能力和快速的查詢(xún)能力,可以有力地支撐系統(tǒng)對(duì)原始信號(hào)數(shù)據(jù)進(jìn)行進(jìn)一步的分析與應(yīng)用?!?/p>
業(yè)務(wù)背景
計(jì)算機(jī)監(jiān)控系統(tǒng)和機(jī)組穩(wěn)定性監(jiān)測(cè)分析系統(tǒng),主要是從振動(dòng)、氣隙等狀態(tài)量對(duì)主機(jī)設(shè)備的運(yùn)行狀態(tài)進(jìn)行監(jiān)測(cè)和評(píng)估,其核心需求是將全廠的電力系統(tǒng)各元件納入系統(tǒng)的監(jiān)測(cè),并存儲(chǔ)高采樣率的原始信號(hào)數(shù)據(jù),初步估算全廠電力系統(tǒng)元件 1 天即可產(chǎn)生 1.7TB 字節(jié)數(shù)據(jù)量,數(shù)據(jù)存儲(chǔ)難題橫亙眼前,在經(jīng)過(guò)反復(fù)對(duì)比測(cè)試后,其決定將 TDengine 正式引入該項(xiàng)目。
時(shí)序數(shù)據(jù)庫(kù)的設(shè)計(jì)和優(yōu)化都是根據(jù)時(shí)序數(shù)據(jù)特點(diǎn)而來(lái),在面對(duì)具備時(shí)序數(shù)據(jù)特征的海量能源數(shù)據(jù)處理需求時(shí),時(shí)序數(shù)據(jù)庫(kù)顯然更加有針對(duì)性,而以上企業(yè)的事實(shí)證明,在能源行業(yè)中,時(shí)序數(shù)據(jù)庫(kù)的應(yīng)用能夠有效增加系統(tǒng)的各方面性能,降低研發(fā)和運(yùn)維成本,真正幫助企業(yè)實(shí)現(xiàn)降本增效。也只有當(dāng)能源數(shù)據(jù)得到了高效處理,它才能為能源決策和政策制定提供更具有價(jià)值的科學(xué)依據(jù)。
參考文獻(xiàn)
[1] 《新能源發(fā)電企業(yè)大數(shù)據(jù)中心提高數(shù)據(jù)采集質(zhì)量的方法及其有效性分析》.陳瑞
[2] 《基于大數(shù)據(jù)云平臺(tái)的電力能源大數(shù)據(jù)采集方法及應(yīng)用探討》.鮑俊如 金瑩 熊亮
[3]《基于電力企業(yè)大數(shù)據(jù)環(huán)境下的數(shù)據(jù)治理》.李方軍 宋曦 趙博 袁昊 金銘
[4]《研發(fā)了 5 年的時(shí)序數(shù)據(jù)庫(kù),到底要解決什么問(wèn)題?》.陶建輝
[5]《單機(jī)每秒百萬(wàn)記錄、毫秒級(jí)延遲,TDengine 3.0 流處理引擎全面解析》.劉繼聰
[6] 能源數(shù)據(jù)領(lǐng)域案例 —《TDengine 在水電廠畸變波形分析及故障預(yù)判系統(tǒng)中的應(yīng)用》.深圳雙合電機(jī)監(jiān)測(cè)和故障預(yù)測(cè)產(chǎn)品研發(fā)團(tuán)隊(duì)
[7] 能源數(shù)據(jù)領(lǐng)域案例 —《代替 TimescaleDB,TDengine 接管數(shù)據(jù)量日增 40 億條的光伏日電系統(tǒng)》.李良政
[8] 能源數(shù)據(jù)領(lǐng)域案例 —《TDengine 在上海電氣儲(chǔ)能智慧運(yùn)維系統(tǒng)中的應(yīng)用》.上海電氣 SmartOPS團(tuán)隊(duì)
[9] 能源數(shù)據(jù)領(lǐng)域案例 —《TDengine 在中節(jié)能風(fēng)力發(fā)電運(yùn)維系統(tǒng)中的落地實(shí)踐》.潘文彪
推薦詞條
相關(guān)文章

數(shù)百億數(shù)據(jù)壓縮至 600GB,TDengine 落地協(xié)鑫能科移動(dòng)能源數(shù)據(jù)平臺(tái)
作者:
協(xié)鑫能科技術(shù)團(tuán)隊(duì)

特-150x150.jpeg)





互聯(lián)網(wǎng).png)



-1.png)




.png)


證.png)


伙伴.png)
伙伴.png)
伙伴.png)
網(wǎng)-1.png)









