小 T 導(dǎo)讀：基于政務(wù)信息化自主可控的要求，在與同類型數(shù)據(jù)庫進(jìn)行性能對比后，廣東環(huán)境科學(xué)研究院的生態(tài)環(huán)境數(shù)據(jù)治理服務(wù)項(xiàng)目選用 TDengine Database 強(qiáng)化了其感知層建設(shè)，精準(zhǔn)及時地對污染排放中的問題進(jìn)行檢測和預(yù)警。本文講述了他們的選型和建模思路以及落地后的效果展示。

公司簡介

廣東省環(huán)境科學(xué)研究院是一家綜合性研發(fā)機(jī)構(gòu)，擁有環(huán)境工程咨詢、工程設(shè)計(jì)、環(huán)保工程承包、實(shí)驗(yàn)室計(jì)量認(rèn)證等多個資質(zhì)，可開展區(qū)域可持續(xù)發(fā)展戰(zhàn)略、生態(tài)環(huán)境規(guī)劃、生態(tài)環(huán)境政策、生態(tài)環(huán)境標(biāo)準(zhǔn)等研究，為解決區(qū)域重大生態(tài)環(huán)境問題提供生態(tài)環(huán)境風(fēng)險、生態(tài)環(huán)境工程、生態(tài)環(huán)境檢測和生態(tài)環(huán)境大數(shù)據(jù)研究。

為解決國內(nèi)環(huán)境質(zhì)量管理、污染源監(jiān)管和數(shù)字政府等生態(tài)環(huán)境數(shù)據(jù)的數(shù)據(jù)匯聚、數(shù)據(jù)清洗、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)重構(gòu)、數(shù)據(jù)應(yīng)用等一系列數(shù)據(jù)管理工作，我們創(chuàng)建了生態(tài)環(huán)境數(shù)據(jù)治理服務(wù)項(xiàng)目，幫助企業(yè)打通所有相關(guān)的業(yè)務(wù)信息系統(tǒng)、建立數(shù)據(jù)倉庫，以大數(shù)據(jù)技術(shù)為生態(tài)環(huán)境的精準(zhǔn)治理和智慧決策提供支撐。

本項(xiàng)目的實(shí)時數(shù)倉架構(gòu)如下圖所示，通過建設(shè)生態(tài)環(huán)境感知層來及時捕獲環(huán)境質(zhì)量實(shí)時狀態(tài)及實(shí)時的污染排放狀態(tài)，獲取大氣、地表水、近岸海域、固定（移動）污染源污染排放等業(yè)務(wù)中的實(shí)時監(jiān)測數(shù)據(jù)，利用大數(shù)據(jù)技術(shù)手段進(jìn)行分析研判，對可能發(fā)生的環(huán)境事件進(jìn)行預(yù)警。

同時，為避免重復(fù)建設(shè)，在項(xiàng)目中我們建立了生態(tài)環(huán)境實(shí)時數(shù)據(jù)倉庫，采用集中式的采集、歸聚、分析和數(shù)據(jù)服務(wù)，可有效利用資源和技術(shù)，獲得最直觀的技術(shù)成效。   

一、從關(guān)系型數(shù)據(jù)庫到 TDengine

與一般的數(shù)據(jù)存儲要求不同，該項(xiàng)目感知層的存儲方案對數(shù)據(jù)讀寫頻度和低延時要求更高，同時由于數(shù)據(jù)量極大，還需要更高的存儲效率。

以重點(diǎn)排污單位自動監(jiān)測 30 秒數(shù)據(jù)為例，全省近 5000 個監(jiān)測點(diǎn)，每個監(jiān)測點(diǎn) 3-5 個監(jiān)測因子。多年來，我們一直采用關(guān)系型數(shù)據(jù)庫進(jìn)行數(shù)據(jù)存儲，最多只能保留 3-5 天的數(shù)據(jù)，不得不按天刪除舊數(shù)據(jù)。之后考慮過采用 PostgreSQL 的 TimescaleDB 擴(kuò)展，但卻不滿足政務(wù)信息化自主可控的要求；還曾嘗試過使用國內(nèi)的某款時序數(shù)據(jù)庫產(chǎn)品，但其在性能及通用接口方面離我們的要求尚有一定的距離。

在初次接觸 TDengine Database 之時，因?yàn)楫a(chǎn)品太新了，我們還有點(diǎn)遲疑。但好在 TDengine 易于安裝、文檔齊備，作為一款開源產(chǎn)品，產(chǎn)品支持卻并不弱，還有專門的微信技術(shù)群，出現(xiàn)問題時會有濤思數(shù)據(jù)的技術(shù)人員或社區(qū)大佬提供幫助，使我們的整個評估過程非常順暢。最終，經(jīng)過很長一段時間的研究和測試，我們選定了這款國產(chǎn)開源時序數(shù)據(jù)庫 TDengine。   

二、TDengine 的落地實(shí)踐與性能表現(xiàn)

在實(shí)際落地時，我們選用了 3 臺 4 核 8G、1 臺 8 核 16G、1 臺 8 核 32G 的服務(wù)器，—共 5 臺，搭建了一個 5 節(jié)點(diǎn)單副本的集群。目前已投入運(yùn)營的業(yè)務(wù)線有三條，包括重點(diǎn)排污單位自動監(jiān)測系統(tǒng) 30 秒數(shù)據(jù)報送、重型柴油車 OBD 實(shí)時數(shù)據(jù)報送和 VOCs 排污企業(yè)實(shí)時監(jiān)測數(shù)據(jù)報送，后續(xù)還會陸續(xù)增加各種環(huán)境質(zhì)量自動監(jiān)測的數(shù)據(jù)報送業(yè)務(wù)，以及數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用業(yè)務(wù)。

從 2021 年 4 月運(yùn)行至今（2022 年 1 月），本項(xiàng)目共創(chuàng)建了 4 張超級表以及 67,453 張子表。

接下來，我們以重點(diǎn)排污企業(yè)廢氣排放 30 秒監(jiān)測數(shù)據(jù)為例說明存儲情況。

st_om_rtd_gas 表是我們針對廢氣處理所創(chuàng)建的超級表，其中存儲了 76.5 億條數(shù)據(jù)（四張超級表總共 160 億條數(shù)據(jù)），分散在 19,419 張子表中，平均每張表 39 萬行。由于 TDengine 超級表特性，再加上列式存儲和超高的壓縮能力，這些數(shù)據(jù)僅占用了 240G 內(nèi)存，不僅幫助我們節(jié)省了大量的存儲空間，也為數(shù)據(jù)查詢性能打下了良好的基礎(chǔ)。

在查詢方面，我們主要的邏輯是獲取近期的最大系列值，過濾后按不同監(jiān)測因子的限定值獲取監(jiān)測因子列表，再通過降采樣查詢該監(jiān)測因子小時最大值、日最大值或月最大值。之后將查詢范圍瞄準(zhǔn)具體的排放口，確定一段時間以來排污濃度或流量偏高的排放口列表，再對該排放口具體時間范圍內(nèi)每一個排放濃度進(jìn)行分析，獲得其排污異常的詳細(xì)信息。TDengine 以優(yōu)異的性能非常成功地完成了上述查詢分析過程。

反饋到具體操作上，主要有如下三種情況：

SELECT top(val_zs, 20) FROM st_om_rtd_gas
WHERE moni_time >= NOW - 2h
GROUP BY pol_code;

對于 76 億行的超級表，分組 TOP 查詢僅用了 0.2 秒。

SELECT MAX(val_zs) FROM st_om_rtd_gas
WHERE moni_time >= NOW -2h AND pol_code in ('002’,'‘010')
INTERVAL(1h) GROUP BY ps_code,p_code,pol_code;

基于 TDengine 返回 2,968 行，僅用了 0.06 秒。

接著從返回結(jié)果中抽出可疑的排放口列表，查看具體的排放情況：

SELECT val, val_zs, ps_name, p_name, pol_name, strength_unit FROM st_om_rtd_gas 
WHERE ps_code = 440000000168 AND p_code = 1101 AND moni_time >= '2021-12-27 00:00:00.000';

返回 5,280 行數(shù)據(jù)，僅用了 0.1 秒，性能完全超出了我們的預(yù)期。

值得一提的是，由于目前我們使用的是自己機(jī)房的虛擬機(jī)，硬件使用時間較久，但是 TDengine 的性能仍然不受影響。近期我們打算遷移到政務(wù)云平臺，相信 TDengine 的性能將再上一個臺階。   

三、下一步，基于 TDengine 落實(shí)邊緣層建設(shè)

使用 TDengine Database 數(shù)月以來，其無論是在 CPU 負(fù)載、數(shù)據(jù)存儲效率上，還是在數(shù)據(jù)采集效率、數(shù)據(jù)查詢效率上都遠(yuǎn)高于期望值，滿足實(shí)時數(shù)倉的所有要求。在生態(tài)環(huán)境數(shù)據(jù)治理過程中，TDengine 強(qiáng)化了感知層建設(shè)，能夠精準(zhǔn)及時地發(fā)現(xiàn)污染排放中的問題，在污染防控場景下具有極大的潛力。

下一步，我們將充分利用 TDengine 的強(qiáng)大功能，落實(shí)邊緣層建設(shè)，具體實(shí)現(xiàn)思路為：通過 TDengine 的訂閱功能捕捉數(shù)據(jù)的異動信息，然后在邊緣側(cè)立即處理，從而完全補(bǔ)上當(dāng)前實(shí)時污染防控上的短板。

來而不往非禮也，在此寫下這篇用戶案例，預(yù)祝 TDengine 能夠越來越好，也希望有越來越多的用戶能加入到 TDengine 的社區(qū)互動當(dāng)中。

作者簡介：

沈華烈，系統(tǒng)分析師，有近 20 年環(huán)境信息化從業(yè)經(jīng)歷。目前就職于廣東省環(huán)境科學(xué)研究院環(huán)境信息研究所。