近年來，隨著光伏儲(chǔ)能裝置的增加，設(shè)備數(shù)量和測(cè)點(diǎn)數(shù)量也在相應(yīng)增加，數(shù)據(jù)采集頻率也在不斷提高，由此產(chǎn)生的時(shí)序數(shù)據(jù)量越來越龐大，對(duì)數(shù)據(jù)處理和實(shí)時(shí)分析的要求也越來越高。同時(shí)光伏儲(chǔ)能系統(tǒng)需要長(zhǎng)期保存大量的歷史數(shù)據(jù)，以便進(jìn)行回溯分析和趨勢(shì)預(yù)測(cè)，海量歷史數(shù)據(jù)的存儲(chǔ)和管理也成為一個(gè)挑戰(zhàn)，亟需高效的存儲(chǔ)解決方案。在此背景下，為了更精準(zhǔn)地監(jiān)測(cè)和控制光伏儲(chǔ)能系統(tǒng)，光伏儲(chǔ)能領(lǐng)域的部分企業(yè)開始嘗試采用更先進(jìn)的數(shù)據(jù)管理和分析技術(shù)，進(jìn)行數(shù)據(jù)架構(gòu)的全面升級(jí)。

在本篇文章中，我們匯總了一批較為典型的光伏儲(chǔ)能項(xiàng)目的數(shù)據(jù)架構(gòu)改造真實(shí)案例，給到大家參考。

國(guó)軒高科海外儲(chǔ)能項(xiàng)目：數(shù)據(jù)壓縮率輕松達(dá)到 10% 以內(nèi)

“對(duì)我們這個(gè)體量相對(duì)較小的場(chǎng)景來說，TDengine Cloud 按量計(jì)費(fèi)加全托管的企業(yè)級(jí)服務(wù)讓我們用非常小的成本便運(yùn)轉(zhuǎn)了這個(gè)項(xiàng)目，并且極大地增加了產(chǎn)品的效率并保留了隨時(shí)擴(kuò)張的靈活性。此外，數(shù)據(jù)分享、流式計(jì)算這些有趣的特性也等待我們進(jìn)行更深一步地挖掘?！?/p>

改造方案

國(guó)軒高科在“海外某儲(chǔ)能項(xiàng)目”中，需要實(shí)時(shí)監(jiān)測(cè)電池安全，采集記錄每次使用的充放電過程、電流/電壓等值，而此類數(shù)據(jù)都帶有時(shí)間戳，是典型的時(shí)序數(shù)據(jù)。為了應(yīng)對(duì)未來海量的用戶使用數(shù)據(jù)，其決定選擇一款專業(yè)的時(shí)序數(shù)據(jù)庫（Time Series Database，TSDB），并于去年在海外本地化成功部署了時(shí)序數(shù)據(jù)庫 TDengine 2.x 版本。為了更便捷地進(jìn)行該數(shù)據(jù)庫的應(yīng)用，國(guó)軒高科在今年選擇將業(yè)務(wù)部署在物聯(lián)網(wǎng)、工業(yè)大數(shù)據(jù)云服務(wù)平臺(tái) TDengine Cloud 上，其帶來的最直觀幫助就是全托管。

據(jù)了解，由于 TDengine Cloud 附帶和 TDengine Enterprise（企業(yè)版）同級(jí)別的服務(wù)，因此國(guó)軒高科不再需要擔(dān)心部署、優(yōu)化、擴(kuò)容、備份、異地容災(zāi)等事務(wù)，減少了開發(fā)人員的負(fù)擔(dān)，可全心關(guān)注核心業(yè)務(wù)。在云服務(wù)版本選擇上，由于該項(xiàng)目設(shè)備量暫時(shí)不多，根據(jù)官方現(xiàn)有的定價(jià)規(guī)則，基礎(chǔ)版本便可滿足。在經(jīng)過計(jì)費(fèi)方案估算器計(jì)算后，最終國(guó)軒高科選擇了 1200 元/月的基礎(chǔ)版規(guī)格。

改造效果

該項(xiàng)目的數(shù)據(jù)處理流程如下圖所示，某類儲(chǔ)能設(shè)備產(chǎn)生的時(shí)序數(shù)據(jù)會(huì)以 MQTT 方式上傳，其中業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)發(fā)給 PostgreSQL，設(shè)備產(chǎn)生的時(shí)序數(shù)據(jù)以及設(shè)備運(yùn)行日志、設(shè)備狀態(tài)數(shù)據(jù)轉(zhuǎn)給 TDengine。中臺(tái)各系統(tǒng)則會(huì)統(tǒng)一規(guī)劃使用這些數(shù)據(jù)庫中的數(shù)據(jù)，來用于分析計(jì)算，也可以直接控制設(shè)備下發(fā)指令。最終，借助 PC Web、APP 以及其他管理平臺(tái)等軟件方式在前端體現(xiàn)。

在測(cè)試階段，TDengine 的數(shù)據(jù)壓縮率可以輕松達(dá)到 10% 以內(nèi)，每秒可以寫入數(shù)百萬行數(shù)據(jù)，在具體實(shí)踐中也很好地達(dá)到了這一壓縮及寫入效果；在查詢方面，完美地支持了該項(xiàng)目中的各類查詢，比如監(jiān)測(cè)用電產(chǎn)品的健康狀態(tài)、分析設(shè)備用電量趨勢(shì)、使用壽命等等。值得一提的是，該應(yīng)用與 TDengine Cloud 所屬同一個(gè) AWS region，因此通過使用 Private Link 功能，其應(yīng)用網(wǎng)絡(luò)就能夠與云服務(wù)進(jìn)行私密通信，而無需將數(shù)據(jù)通過公網(wǎng)傳輸，大大降低了寫入方面的延遲，同時(shí)也進(jìn)一步節(jié)約了由網(wǎng)絡(luò)流量產(chǎn)生的費(fèi)用。

點(diǎn)此查看案例詳情

日增 40 億條數(shù)據(jù)的光伏日電系統(tǒng)：讀寫性能提升 10 倍

“目前我們根據(jù)不同的測(cè)點(diǎn)類型建立了不同的超級(jí)表，按照不同的測(cè)點(diǎn) ID 以及測(cè)點(diǎn)號(hào)作為 tag 創(chuàng)建了不同的子表。這樣我們針對(duì)于測(cè)點(diǎn)可以直接進(jìn)行單表分析，處理性能高、速度快；也可以針對(duì)多測(cè)點(diǎn)進(jìn)行分析，直接操作超級(jí)表，業(yè)務(wù)實(shí)現(xiàn)簡(jiǎn)單，同時(shí)兼顧了查詢性能?！?/p>

改造方案

八五信息在新能源電力物聯(lián)網(wǎng)平臺(tái)上，需要對(duì)物聯(lián)網(wǎng)設(shè)備的實(shí)時(shí)數(shù)據(jù)以及光伏設(shè)備傳感器的遙測(cè)數(shù)據(jù)進(jìn)行存儲(chǔ)和查詢分析，規(guī)劃設(shè)計(jì)數(shù)據(jù)存儲(chǔ)規(guī)模大概在 16TB 左右，目前數(shù)據(jù)日增量為 1 億多條，全部測(cè)點(diǎn)接入后預(yù)計(jì)日增量為 40 多億條左右；系統(tǒng)需支撐至少 50000 臺(tái)設(shè)備總計(jì) 400 萬測(cè)點(diǎn)（信號(hào)量和模擬量）的實(shí)時(shí)數(shù)據(jù)接入、處理及存儲(chǔ)。在查詢上，應(yīng)用系統(tǒng)的常規(guī)查詢?cè)?50QPS 左右，高并發(fā)在 100QPS 左右。一次歷史數(shù)據(jù)查詢分析最大跨度為一年且支撐多測(cè)點(diǎn)多模式分析方式。

此前該平臺(tái)使用 TimescaleDB 進(jìn)行這些數(shù)據(jù)的處理，無論在讀寫性能，還是硬件資源上，都遇到了瓶頸，且沒有集群功能。為了破解這一困境，八五信息選擇接入 TDengine，主要用于光伏設(shè)備遙測(cè)實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)、查詢和分析。

改造效果

改造完成后，讀寫性能較原 TimescaleDB 數(shù)據(jù)庫提高 10 倍左右，在數(shù)據(jù)接入層不用再擔(dān)心數(shù)據(jù)庫的寫入性能瓶頸；數(shù)據(jù)分析查詢應(yīng)用層也較原系統(tǒng)有較大提升，尤其是在面對(duì)時(shí)間跨度大的聚合類分析時(shí)幾乎瞬間響應(yīng)；在集群功能方面，TimescaleDB 雖支持流復(fù)制方式的主備庫但沒有集群功能，TDengine 在這點(diǎn)上更有優(yōu)勢(shì)，其集群容易搭建且無主從節(jié)點(diǎn)區(qū)分，對(duì)應(yīng)用改造和支撐較友好，集群版讀寫性能提升較大。

在計(jì)算及存儲(chǔ)資源上，應(yīng)用 TDengine 后，降低了大約 4 倍左右的存儲(chǔ)成本。在未使用 TDengine 之前，TimescaleDB 開啟壓縮后對(duì) 70 億數(shù)據(jù)量占用磁盤為 165GB，且一分鐘內(nèi)無法查詢出一個(gè)月的歷史數(shù)據(jù)；而在使用 TDengine 之后磁盤占用空間為 40GB 左右，且能夠毫秒級(jí)返回針對(duì)一個(gè)月的歷史數(shù)據(jù)的聚合查詢。此外，通過亂序插入功能，TDengine 還解決了邊緣側(cè)由于網(wǎng)絡(luò)問題導(dǎo)致的數(shù)據(jù)傳輸不及時(shí)造成的亂序?qū)懭雴栴}，保證了數(shù)據(jù)的完整性。

點(diǎn)此查看案例詳情

上海電氣儲(chǔ)能系統(tǒng)：毫秒級(jí)響應(yīng)電站運(yùn)行信息監(jiān)視

“此次方案改造非常成功，我們還將在后續(xù)項(xiàng)目中，繼續(xù)拓展其分布式集群應(yīng)用，構(gòu)建儲(chǔ)能電站運(yùn)行情況的數(shù)字化檔案，結(jié)合開發(fā)的分析算法、預(yù)測(cè)算法、數(shù)據(jù)挖掘技術(shù)，實(shí)現(xiàn)電站穩(wěn)定性分析、效率和損耗分析、故障預(yù)測(cè)、壽命預(yù)測(cè)、性能短板定位以及熱管理分析等高級(jí)分析和診斷功能?！?/p>

改造方案

為幫助客戶實(shí)現(xiàn)儲(chǔ)能設(shè)備的最優(yōu)配置和高效利用，上海電氣打造“SmartOPS 儲(chǔ)能智慧運(yùn)維系統(tǒng)”，支持云端部署和本地部署兩種方式，其中，本地部署需要重點(diǎn)考慮本地硬件資源的限制，如站端系統(tǒng)的內(nèi)存、CPU 以及讀寫性能等，為此上海電氣開始進(jìn)行技術(shù)選型，以挑選適合在站端系統(tǒng)中部署的時(shí)序數(shù)據(jù)庫。

待選數(shù)據(jù)庫方案包括 OpenTSDB、InfluxDB、Apache IoTDB、TDengine、ClickHouse?；谡径吮镜鼗渴鹦枰p量級(jí)資源占用出發(fā)，上海電氣首先排除 OpenTSDB、Apache IoTDB 以及 ClickHouse，OpenTSDB 是由于其基于 HBase 進(jìn)行設(shè)計(jì)，架構(gòu)比較重，而 Apache IoTDB 在資源占用方面對(duì)邊緣輕量級(jí)設(shè)備也不算友好；ClickHouse 的優(yōu)勢(shì)是單表快，但其他方面偏弱，包括 join、管理運(yùn)維都比較復(fù)雜。研發(fā)團(tuán)隊(duì)最終圈定在 InfluxDB 和 TDengine 中進(jìn)行測(cè)試選擇。在經(jīng)過一系列測(cè)試對(duì)比后，TDengine 成功勝出。

改造效果

目前該項(xiàng)目技術(shù)團(tuán)隊(duì)已采用 TDengine 作為 SCU（Station Control Unit） 架構(gòu)的核心時(shí)序數(shù)據(jù)庫，實(shí)現(xiàn)儲(chǔ)能系統(tǒng)綜合信息感知、就地運(yùn)行控制與協(xié)調(diào)保護(hù)功能；同時(shí)支持儲(chǔ)能電站及設(shè)備的遠(yuǎn)程運(yùn)維，實(shí)現(xiàn)高級(jí)數(shù)據(jù)分析與運(yùn)行優(yōu)化，全方面守護(hù)儲(chǔ)能電站的安全。

TDengine 高性能的寫入和聚合查詢功能，能夠毫秒級(jí)響應(yīng)電站運(yùn)行信息監(jiān)視。在壓縮方面，對(duì)比此前使用 InfluxDB 時(shí) 1 天 200 多 MB 的數(shù)據(jù)存儲(chǔ)，在采集點(diǎn)數(shù)量相同的情況下，使用 TDengine 后，1 天的數(shù)據(jù)存儲(chǔ)低于 70 MB，是 InfluxDB 的 1/3。在查詢上，對(duì)比使用 InfluxDB 一個(gè)月時(shí)間后執(zhí)行查詢，內(nèi)存使用率達(dá)到 80%，并且過了十分鐘也沒出來結(jié)果，在應(yīng)用 TDengine 近1個(gè)月后，使用相同的 SQL 語句，查詢只需要 0.2 秒。

點(diǎn)此查看案例詳情

結(jié)語

術(shù)業(yè)有專攻，從上述實(shí)踐中我們也能看到，專業(yè)的數(shù)據(jù)庫做專業(yè)的事情，在面對(duì)光伏儲(chǔ)能設(shè)備產(chǎn)生的海量時(shí)序數(shù)據(jù)的處理上，時(shí)序數(shù)據(jù)庫效果更為顯著。TDengine 具備 10 倍以上的性能提升、簡(jiǎn)單易用的時(shí)序數(shù)據(jù)平臺(tái)、完全實(shí)時(shí)的數(shù)據(jù)共享能力以及頂級(jí)的開源軟件四大核心競(jìng)爭(zhēng)力，這也讓 TDengine 成為國(guó)內(nèi)外數(shù)十萬用戶的選擇，成為光儲(chǔ)用戶的不二之選。如果你也面臨著數(shù)據(jù)難題，可以添加小T vx：tdengine，與 TDengine 專業(yè)的解決方案架構(gòu)師直接溝通，尋找架構(gòu)改造最優(yōu)解。