泛能網(wǎng)能碳產(chǎn)業(yè)智能平臺(tái)作為新奧數(shù)能科技有限公司打造的一體化智能平臺(tái)，服務(wù)于公建、工廠、園區(qū)等場(chǎng)景，旨在通過物聯(lián)網(wǎng)、大數(shù)據(jù)與人工智能技術(shù)，實(shí)現(xiàn)能源設(shè)備的實(shí)時(shí)監(jiān)控、運(yùn)營管理與能碳分析。隨著客戶規(guī)模擴(kuò)大與數(shù)據(jù)量激增，平臺(tái)面臨海量設(shè)備數(shù)據(jù)采集、高并發(fā)查詢、長期存儲(chǔ)及指標(biāo)計(jì)算準(zhǔn)確性等多重挑戰(zhàn)。平臺(tái)原先基于 OpenTSDB 的架構(gòu)已無法滿足業(yè)務(wù)發(fā)展需求，尤其在數(shù)據(jù)處理及時(shí)性、準(zhǔn)確性與資源成本方面存在明顯瓶頸。通過引入 TDengine 時(shí)序數(shù)據(jù)庫，平臺(tái)實(shí)現(xiàn)了從任務(wù)調(diào)度到流式計(jì)算的架構(gòu)升級(jí)，數(shù)據(jù)處理性能顯著提升，計(jì)算時(shí)效性最高提升 100 倍，計(jì)算時(shí)長縮短 2-8 倍，客戶投訴率幾乎降為零，同時(shí)服務(wù)器資源從原先的十多臺(tái)物理機(jī)大幅縮減，整體運(yùn)維成本顯著降低。

背景和痛點(diǎn)

泛能網(wǎng)平臺(tái)自 2018 年啟動(dòng)建設(shè)以來，已服務(wù)超過 5000 家客戶，每客戶平均接入約 50 臺(tái)設(shè)備，每臺(tái)設(shè)備每分鐘采集 10-20 個(gè)數(shù)據(jù)點(diǎn)，系統(tǒng)每秒數(shù)據(jù)處理量（TPS）高達(dá) 9 萬。隨著業(yè)務(wù)擴(kuò)展，以 OpenTSDB 為基礎(chǔ)的架構(gòu)平臺(tái)在數(shù)據(jù)采集、存儲(chǔ)、查詢和計(jì)算方面面臨嚴(yán)峻挑戰(zhàn)：

• 海量數(shù)據(jù)采集與高并發(fā)寫入：設(shè)備數(shù)量龐大，采集頻率高，部分場(chǎng)景要求秒級(jí)甚至毫秒級(jí)上報(bào)，數(shù)據(jù)量呈指數(shù)級(jí)增長。
• 多維度實(shí)時(shí)查詢需求：客戶需按時(shí)間維度查詢最大值、最小值、平均值等統(tǒng)計(jì)指標(biāo)，并要求查詢響應(yīng)速度快。
• 長期數(shù)據(jù)存儲(chǔ)壓力：部分客戶要求保留 5-10 年歷史數(shù)據(jù)，對(duì)存儲(chǔ)空間和索引管理帶來極大壓力。
• 指標(biāo)計(jì)算不準(zhǔn)確與延遲：原有基于任務(wù)周期調(diào)度的計(jì)算方式導(dǎo)致日、月、年指標(biāo)計(jì)算結(jié)果不一致。同時(shí)，計(jì)算延遲嚴(yán)重，影響數(shù)據(jù)及時(shí)性。

架構(gòu)升級(jí)

基于上述痛點(diǎn)，平臺(tái)在數(shù)據(jù)庫選型中設(shè)定了明確目標(biāo)：支持高并發(fā)寫入與查詢、具備高效壓縮與長期存儲(chǔ)能力、支持流式計(jì)算與實(shí)時(shí)處理、具備良好的擴(kuò)展性與運(yùn)維便利性。在對(duì)比了多款時(shí)序數(shù)據(jù)庫（Timeseries Database）后，項(xiàng)目初期我們選擇使用了 TDengine TSDB 2.x 的社區(qū)版本，社區(qū)版本在集群高可用、性能方面可以很好支撐業(yè)務(wù)平穩(wěn)運(yùn)行。但我們?cè)谑褂?2.x 社區(qū)版本中遇到幾個(gè)問題：

1. 2.x 社區(qū)版本不支持?jǐn)?shù)據(jù)刪除，但是新版本 3.x 里默認(rèn)支持；
2. 2.x 社區(qū)版本 UPDATE 參數(shù)無法動(dòng)態(tài)修改，新版本 3.x 默認(rèn)開啟了更新數(shù)據(jù)的功能；
3. 2.x 版本已經(jīng)停止維護(hù)更新，且社區(qū)版沒有專有的售后運(yùn)維的支持；

基于以上幾點(diǎn)，為了保障未來業(yè)務(wù)穩(wěn)定運(yùn)行，我們決定升級(jí)到 TDengine TSDB 3.3.6.x 的企業(yè)版穩(wěn)定版本。

業(yè)務(wù)架構(gòu)

平臺(tái)采用“采算分離”架構(gòu)，物聯(lián)網(wǎng)平臺(tái)負(fù)責(zé)數(shù)據(jù)采集，TDengine 時(shí)序數(shù)據(jù)庫（Timeseries Database）作為核心存儲(chǔ)與計(jì)算引擎，配合流式計(jì)算模塊實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)處理。

• 數(shù)據(jù)采集層：通過物聯(lián)網(wǎng)平臺(tái)接入設(shè)備數(shù)據(jù)。
• 流式計(jì)算層：替換原有任務(wù)調(diào)度，實(shí)現(xiàn)實(shí)時(shí)指標(biāo)計(jì)算。
• 存儲(chǔ)層：TDengine TSDB 集群負(fù)責(zé)測(cè)點(diǎn)數(shù)據(jù)與指標(biāo)結(jié)果的存儲(chǔ)與查詢。

數(shù)據(jù)模型

平臺(tái)基于 TDengine TSDB 的超級(jí)表與子表模型進(jìn)行建模：

• 測(cè)點(diǎn)超級(jí)表：按設(shè)備類型分類，如電能表、流量計(jì)等，每臺(tái)設(shè)備對(duì)應(yīng)一個(gè)子表。
• 指標(biāo)超級(jí)表：按時(shí)間維度（時(shí)、分、日、月、年）分類，每個(gè)子指標(biāo)對(duì)應(yīng)一個(gè)子表，記錄指標(biāo)值。

遷移經(jīng)驗(yàn)

面對(duì)千億級(jí)歷史數(shù)據(jù)、新舊數(shù)據(jù)模型差異以及在線業(yè)務(wù)零中斷的核心要求，我們?cè)O(shè)計(jì)了一套灰度遷移與數(shù)據(jù)同步方案。整個(gè)遷移過程分為三個(gè)階段：新版本測(cè)試驗(yàn)證、歷史數(shù)據(jù)遷移、灰度切換與流量遷移。全程采用漸進(jìn)式灰度策略，確保業(yè)務(wù)平穩(wěn)過渡。

第一階段：新版本測(cè)試驗(yàn)證

我們?cè)?TDengine TSDB 3.x 企業(yè)版集群中測(cè)試驗(yàn)證業(yè)務(wù)應(yīng)用是否正常工作，需要升級(jí) taosjdbc driver 版本至 TDengine TSDB 3.x。其他業(yè)務(wù) SQL 無需修改，與 TDengine TSDB 2.x 版本保持一致。

第二階段：歷史數(shù)據(jù)遷移

歷史數(shù)據(jù)規(guī)模龐大，且需保證遷移過程中不影響線上查詢性能。我們放棄了傳統(tǒng)的數(shù)據(jù)導(dǎo)出-導(dǎo)入方式，而是采用 TDengine TSDB企業(yè)版工具 taosX 進(jìn)行在線熱遷移。該工具支持從 TDengine TSDB 2.x 集群直接向 3.x 集群同步數(shù)據(jù)，具備斷點(diǎn)續(xù)傳、增量同步和一致性校驗(yàn)?zāi)芰Α?/p>

具體步驟如下：

1. 全量數(shù)據(jù)同步：首先啟動(dòng)全量遷移任務(wù)，將歷史數(shù)據(jù)按照時(shí)間范圍分片同步，避免單次任務(wù)負(fù)載過高。
2. 增量數(shù)據(jù)追趕：在全量遷移期間，系統(tǒng)持續(xù)產(chǎn)生新數(shù)據(jù)，我們通過 taosX 實(shí)時(shí)捕獲 TDengine TSDB 2.x 集群的增量寫入，并同步至 TDengine TSDB 3.x 集群，保持兩者數(shù)據(jù)差距在分鐘級(jí)別。
3. 數(shù)據(jù)一致性驗(yàn)證：每日選取關(guān)鍵業(yè)務(wù)時(shí)段，對(duì)比兩個(gè)集群的統(tǒng)計(jì)指標(biāo)，確保數(shù)據(jù)完整無誤。

整個(gè)遷移過程在業(yè)務(wù)低峰期執(zhí)行，并通過監(jiān)控平臺(tái)實(shí)時(shí)觀測(cè)源集群與目標(biāo)集群的負(fù)載、延遲及錯(cuò)誤率，確保系統(tǒng)穩(wěn)定。

第三階段：灰度切換與流量遷移

數(shù)據(jù)同步完成后，我們通過可配置的路由開關(guān)逐步將客戶請(qǐng)求導(dǎo)向新集群：

1. 讀灰度策略：先選取少數(shù)非核心客戶，將其查詢請(qǐng)求路由至 TDengine TSDB 3.x 集群，對(duì)比返回結(jié)果與原有集群是否一致，并監(jiān)控查詢延遲。
2. 雙寫并行期：在確認(rèn)查詢無誤后，開啟雙寫機(jī)制——物聯(lián)網(wǎng)平臺(tái)同時(shí)向兩個(gè)集群寫入數(shù)據(jù)，新集群作為主查詢?cè)?，舊集群作為備份和比對(duì)基準(zhǔn)。
3. 分批切換：按照客戶分組、地域、業(yè)務(wù)線等維度，分批次將全部查詢流量切換至新集群，每批切換后觀察業(yè)務(wù)指標(biāo)與系統(tǒng)性能，如有異常立即回退。
4. 最終切換與降級(jí)：當(dāng)全部流量穩(wěn)定運(yùn)行于 TDengine TSDB 3.x 集群一周后，停止向舊集群寫入數(shù)據(jù)，并逐步歸檔舊集群數(shù)據(jù)。舊集群仍保留一段時(shí)間作為應(yīng)急回退保障。

通過上述分階段、灰度化的遷移方案，我們實(shí)現(xiàn)了千萬級(jí)測(cè)點(diǎn)、千億條數(shù)據(jù)的平滑遷移，全程業(yè)務(wù)無感知，客戶查詢零中斷。遷移過程中積累的模型映射腳本、驗(yàn)證工具和監(jiān)控方案，也為后續(xù)其他業(yè)務(wù)的數(shù)據(jù)遷移提供了重要模板。

收益總結(jié)

• 性能提升：通過這次平臺(tái)升級(jí)，指標(biāo)計(jì)算的及時(shí)性得到了大幅提升。對(duì)比以往，我們的計(jì)算時(shí)效性最少提高了 4 倍，最高的時(shí)候，例如從年指標(biāo)計(jì)算頻率兩天一次提高到每分鐘一次，時(shí)效性提高了 100 倍。計(jì)算時(shí)長方面，最少也縮短了兩倍，最高提升了 8 倍。

• 準(zhǔn)確性提升：通過流式處理和層級(jí)加工的方式，我們的指標(biāo)數(shù)據(jù)能夠前后一致地匹配，解決了無序數(shù)據(jù)帶來的準(zhǔn)確性問題，客戶投訴率接近零。同時(shí)，延遲數(shù)據(jù)的處理也更加智能化，可以自動(dòng)計(jì)算延遲測(cè)點(diǎn)的數(shù)據(jù)，并遞歸修正受影響的所有指標(biāo)。對(duì)于日、月、年指標(biāo)計(jì)算頻率不一致的問題，我們也做了統(tǒng)一處理，現(xiàn)在所有計(jì)算頻率統(tǒng)一為 15 分鐘，并使用統(tǒng)一的時(shí)間窗口進(jìn)行計(jì)算，確保數(shù)據(jù)的準(zhǔn)確性。
• 成本降低：原有的 OpenTSDB 架構(gòu)使用十多臺(tái)物理服務(wù)器，每臺(tái) 60+ 核心，仍無法完全滿足需求。遷移至 TDengine TSDB 后，服務(wù)器數(shù)量大幅減少，資源利用率顯著提升，整體硬件與運(yùn)維成本降低約 60%。服務(wù)器資源減少，運(yùn)維復(fù)雜度下降。

過去與未來

從最初的選擇 OpenTSDB，到我們面臨種種挑戰(zhàn)，決定進(jìn)行新一輪的數(shù)據(jù)庫選型，這一路走來充滿了思考與抉擇。2018 年到 2022 年，OpenTSDB 在我們私有化場(chǎng)景中的表現(xiàn)曾一度支撐著我們的系統(tǒng)，但隨著業(yè)務(wù)的不斷擴(kuò)展，問題也接踵而至——高昂的部署成本、復(fù)雜的運(yùn)維難題，讓我們不得不尋求新的解決方案。

正是在這個(gè)關(guān)鍵時(shí)刻，TDengine 走入了我們的視野。初次接觸 TDengine 時(shí)，我們帶著試探的心態(tài)，先在私有化場(chǎng)景中做了嘗試。出乎意料的是，它不僅幫助我們降低了部署和運(yùn)維成本，還讓我們對(duì)未來充滿了信心。于是 2023 年 6 月，我們正式啟動(dòng)了平臺(tái)的全面切換，將 TDengine 應(yīng)用到核心生產(chǎn)環(huán)境。

TDengine TSDB 在泛能網(wǎng)平臺(tái)中的成功應(yīng)用，為系統(tǒng)性能與運(yùn)維效率帶來顯著提升。未來，團(tuán)隊(duì)將持續(xù)關(guān)注 TDengine TSDB 新版本功能，進(jìn)一步探索其在邊緣計(jì)算、多級(jí)存儲(chǔ)、實(shí)時(shí)分析等場(chǎng)景中的深度應(yīng)用，推動(dòng)平臺(tái)向更智能、更高效的方向演進(jìn)。

公司簡介

新奧數(shù)能科技有限公司成立于 2018 年，隸屬于新奧集團(tuán)，專注于能源行業(yè)智能化平臺(tái)研發(fā)與運(yùn)營，致力于通過物聯(lián)網(wǎng)、大數(shù)據(jù)與人工智能技術(shù)，為客戶提供一體化的能碳管理與運(yùn)維解決方案。泛能網(wǎng)依托新奧集團(tuán)深厚的產(chǎn)業(yè)實(shí)踐，以泛能理念為牽引，聚焦能源數(shù)智化，圍繞 3100 萬家庭用戶、27 萬工商業(yè)客戶、260 個(gè)城市燃?xì)忭?xiàng)目積累了豐富的應(yīng)用場(chǎng)景。

作者

龔恒星

業(yè)務(wù)背景和技術(shù)痛點(diǎn)

業(yè)務(wù)背景：天車無人化調(diào)度系統(tǒng)

聯(lián)合儲(chǔ)庫作為水泥工廠的 “物料中轉(zhuǎn)站”，承擔(dān)著原料接收、散料堆存、料倉補(bǔ)料三大核心任務(wù)，傳統(tǒng)人工操作存在效率低、安全風(fēng)險(xiǎn)高、作業(yè)精度不足等問題。

為解決這些痛點(diǎn)，我司研發(fā)了基于激光雷達(dá)的無人化調(diào)度系統(tǒng)：

• 通過激光雷達(dá)實(shí)時(shí)感知庫區(qū)料位與天車位置，精準(zhǔn)捕捉作業(yè)環(huán)境數(shù)據(jù)；
• 上位控制調(diào)度程序與庫區(qū)數(shù)據(jù)處理系統(tǒng)聯(lián)動(dòng)，實(shí)現(xiàn)全流程無人值守；
• 單套系統(tǒng)可覆蓋整個(gè)庫區(qū)的多臺(tái)天車，日均作業(yè)量超 200 次，大幅提升了作業(yè)效率。

技術(shù)挑戰(zhàn)：海量高頻數(shù)據(jù)帶來的挑戰(zhàn)

隨著天車無人化調(diào)度系統(tǒng)的常態(tài)化高效運(yùn)行，系統(tǒng)每天需要處理極其龐大的設(shè)備狀態(tài)和環(huán)境感知數(shù)據(jù)。為了給客戶提供更敏捷的系統(tǒng)穩(wěn)定性和極致的運(yùn)維體驗(yàn)，我們發(fā)現(xiàn)傳統(tǒng)的工業(yè)IT底座在應(yīng)對(duì)這種新興的高并發(fā)業(yè)務(wù)場(chǎng)景時(shí)，面臨著以下三大挑戰(zhàn)：

• 精細(xì)化運(yùn)維對(duì)數(shù)據(jù)高精度回放提出極高要求：為了實(shí)現(xiàn)對(duì)系統(tǒng)運(yùn)行的極致掌控，我們需要對(duì)天車運(yùn)行軌跡、雷達(dá)通訊狀態(tài)、料位高度等實(shí)時(shí)數(shù)據(jù)進(jìn)行長周期、秒級(jí)粒度的固化存儲(chǔ)。在需要進(jìn)行深度工況分析或設(shè)備軌跡回溯時(shí)，依賴傳統(tǒng)零散日志排查的方式耗時(shí)較長，難以滿足我們智能化系統(tǒng)“分鐘級(jí)精準(zhǔn)定位”的極速運(yùn)維標(biāo)準(zhǔn)；
• 邊緣側(cè)極簡部署與嚴(yán)苛的IT資源限制：工業(yè)現(xiàn)場(chǎng)往往要求系統(tǒng)的邊緣側(cè)部署做到極致的“輕量化”與“低成本”。面對(duì)每日激增的時(shí)序數(shù)據(jù)，傳統(tǒng)通用型數(shù)據(jù)庫在保證高性能讀寫的同時(shí)，必然伴隨龐大的CPU與內(nèi)存資源開銷，難以在邊緣側(cè)兼顧“資源極致復(fù)用”與“輕量化穩(wěn)定運(yùn)行”；
• 傳統(tǒng)數(shù)據(jù)庫難以應(yīng)對(duì)萬級(jí)點(diǎn)位的高頻并發(fā)：我們的無人化系統(tǒng)需實(shí)時(shí)接入萬級(jí)OPC通訊點(diǎn)數(shù)據(jù)，且采集頻率高達(dá)1秒/次。傳統(tǒng)關(guān)系型數(shù)據(jù)庫在處理這種連續(xù)、高吞吐量的時(shí)序?qū)懭霑r(shí)極易遇到性能瓶頸，且難以按“通訊地址-業(yè)務(wù)含義”進(jìn)行高效的關(guān)聯(lián)檢索。

引入 TDengine TSDB 后的優(yōu)化提升方案

針對(duì)高端工業(yè)無人化場(chǎng)景的時(shí)序數(shù)據(jù)處理需求，安徽智質(zhì)技術(shù)團(tuán)隊(duì)經(jīng)過嚴(yán)謹(jǐn)選型，結(jié)合 TDengine TSDB 的“超級(jí)表-子表”模型、輕量化部署特性與高效數(shù)據(jù)處理能力，自主構(gòu)建了一套貼合天車作業(yè)場(chǎng)景的本地化時(shí)序數(shù)據(jù)架構(gòu)優(yōu)化方案。

技術(shù)架構(gòu)優(yōu)化：本地協(xié)同的設(shè)備 – 存儲(chǔ) – 應(yīng)用架構(gòu)

本方案采用 “設(shè)備層 – 邊緣服務(wù)層 – 數(shù)據(jù)存儲(chǔ)層 – 應(yīng)用層” 的分層架構(gòu)，各環(huán)節(jié)通過明確的數(shù)據(jù)鏈路銜接，且僅部署一套本地 TDengine TSDB 集群支撐全流程數(shù)據(jù)管理，具體架構(gòu)邏輯如下：

1. 設(shè)備層：數(shù)據(jù)采集源
   以激光雷達(dá)（感知庫區(qū)環(huán)境）、PLC（天車控制核心設(shè)備）為數(shù)據(jù)采集源，分別輸出環(huán)境感知數(shù)據(jù)、天車運(yùn)行控制數(shù)據(jù)。
2. 邊緣服務(wù)層：數(shù)據(jù)匯聚與轉(zhuǎn)發(fā)
   PLC 數(shù)據(jù)通過上位機(jī)程序采集后，以 OPC 通訊協(xié)議同步至 Blazor Server 應(yīng)用服務(wù)；激光雷達(dá)數(shù)據(jù)直接接入 Blazor Server 應(yīng)用服務(wù)，實(shí)現(xiàn)兩類設(shè)備數(shù)據(jù)的統(tǒng)一匯聚。
3. 數(shù)據(jù)存儲(chǔ)層：時(shí)序 + 關(guān)系數(shù)據(jù)協(xié)同存儲(chǔ)
   Blazor Server 應(yīng)用服務(wù)通過 JDBC 協(xié)議，將匯聚后的天車時(shí)序數(shù)據(jù)（如位置、雷達(dá)距離、運(yùn)行狀態(tài)）寫入本地部署的 TDengine TSDB 集群；同時(shí)關(guān)聯(lián)關(guān)系型數(shù)據(jù)庫，存儲(chǔ)設(shè)備元數(shù)據(jù)、業(yè)務(wù)配置規(guī)則等非時(shí)序信息，實(shí)現(xiàn) “時(shí)序數(shù)據(jù)存 TDengine TSDB、元數(shù)據(jù)存關(guān)系庫” 的分工存儲(chǔ)。
   在部署方式上，TDengine TSDB 采用工廠本地化部署方案：在虛擬化 Ubuntu 系統(tǒng)或邊緣盒子中安裝 TDengine TSDB 單節(jié)點(diǎn)實(shí)例，僅分配 1 核 CPU、4GB 內(nèi)存，即可支撐天車無人化系統(tǒng)的全量時(shí)序數(shù)據(jù)存儲(chǔ)與查詢需求。
4. 應(yīng)用層：數(shù)據(jù)價(jià)值落地
   基于 TDengine TSDB 存儲(chǔ)的時(shí)序數(shù)據(jù)，系統(tǒng)支撐歷史運(yùn)行數(shù)據(jù)分析與三維實(shí)時(shí)可視化兩類核心應(yīng)用。前者用于故障回溯和效率分析，可按時(shí)間維度查詢天車位置、雷達(dá)距離、運(yùn)行狀態(tài)等關(guān)鍵數(shù)據(jù)；后者用于將天車作業(yè)狀態(tài)實(shí)時(shí)映射到三維場(chǎng)景中，實(shí)現(xiàn)天車無人化運(yùn)行過程的可視化呈現(xiàn)。

數(shù)據(jù)模型優(yōu)化：根據(jù) OPC 協(xié)議進(jìn)行時(shí)序數(shù)據(jù)模型設(shè)計(jì)

根據(jù) OPC 通訊協(xié)議特性，將 “通訊地址 – 業(yè)務(wù)含義” 映射為 TDengine TSDB 的 “子表 – 標(biāo)簽”，實(shí)現(xiàn)數(shù)據(jù)結(jié)構(gòu)化管理，核心實(shí)現(xiàn)代碼如下：

// 1. 初始化TDengine數(shù)據(jù)庫（配置存儲(chǔ)策略：90天數(shù)據(jù)留存、10天分區(qū)）
_connection = _clientFactory.CreateConnection();var command = _clientFactory.CreateCommand(_connection);
command.CommandText = $@"CREATE DATABASE IF NOT EXISTS `crane_db` 
    BUFFER 256 CACHESIZE 1 CACHEMODEL 'none' COMP 2 
    DURATION 10d WAL_FSYNC_PERIOD 3000 
    MAXROWS 4096 MINROWS 100 KEEP 90d,90d,90d 
    PRECISION 'ms' REPLICA 1 VGROUPS 2";
command.ExecuteNonQuery();
_logger.LogInfo($"[TDengine] 初始化數(shù)據(jù)庫 crane_db 成功");// 2. 創(chuàng)建超級(jí)表（通過標(biāo)簽標(biāo)注通訊地址的業(yè)務(wù)含義）
command.CommandText = "SHOW STABLES LIKE 'measurings'";using (var reader = command.ExecuteReader()){if (!reader.Read()){var createSuperTableSql = @"
        CREATE STABLE measurings (
            ts TIMESTAMP,       // 數(shù)據(jù)采集時(shí)間戳
            addvalue FLOAT      // 通訊值
        ) TAGS (address_tag_name NCHAR(64))"; // 標(biāo)簽：通訊地址對(duì)應(yīng)的業(yè)務(wù)含義
        command.CommandText = createSuperTableSql;
        command.ExecuteNonQuery();
        _logger.LogInfo("[TDengine] 創(chuàng)建 measurings 超級(jí)表成功");}}// 3. 自動(dòng)創(chuàng)建子表（按預(yù)設(shè)通訊地址命名，關(guān)聯(lián)業(yè)務(wù)標(biāo)簽）var existingTables = new HashSet<string>();
command.CommandText = "SHOW TABLES";using (var reader = command.ExecuteReader()){while (reader.Read()) existingTables.Add(reader.GetString(0));}foreach (var variable in _variables) // _variables：預(yù)配置的通訊變量列表{var tableName = $"t_addr_{variable.Address}"; // 子表命名規(guī)則：t_addr_通訊地址if (!existingTables.Contains(tableName)){var createTableSql = $@"
        CREATE TABLE {tableName} 
        USING modbus 
        TAGS ('{variable.Tag}')"; // variable.Tag：通訊地址對(duì)應(yīng)的業(yè)務(wù)含義（如心跳檢測(cè)、最高點(diǎn)XYZ等）
        command.CommandText = createTableSql;
        command.ExecuteNonQuery();
        _logger.LogInfo($"[TDengine] 創(chuàng)建子表 {tableName} 成功");}}

超級(jí)表和子表的模型示例：

應(yīng)用場(chǎng)景優(yōu)化：數(shù)據(jù)查詢與故障回溯

基于 TDengine TSDB 的多表關(guān)聯(lián)與標(biāo)簽過濾能力，實(shí)現(xiàn)兩類關(guān)鍵業(yè)務(wù)場(chǎng)景的高效數(shù)據(jù)處理：

• 天車歷史軌跡還原：關(guān)聯(lián)天車 X、Y、Z 軸位置對(duì)應(yīng)的子表，按時(shí)間戳聚合數(shù)據(jù)，快速還原故障時(shí)刻的運(yùn)行軌跡：

SELECT a.ts, a.addvalue AS x_pos, b.addvalue AS y_pos, c.addvalue AS z_pos
FROM t_addr_crane1_x a
JOIN t_addr_crane1_y b ON a.ts = b.ts
JOIN t_addr_crane1_z c ON a.ts = c.ts
WHERE a.ts BETWEEN '2025-11-05 10:30:00' AND '2025-11-05 10:35:00';

• 雷達(dá)通訊狀態(tài)排查：通過標(biāo)簽過濾定位目標(biāo)數(shù)據(jù)，快速查詢故障時(shí)段的通訊狀態(tài)變化：

SELECT ts, addvalue AS comm_status
FROM modbus
WHERE address_tag_name = 'LidarCommStatus'AND ts >= '2025-11-05 10:31:43'

引入 TDengine TSDB 后優(yōu)化提升效果

單核環(huán)境下的穩(wěn)定表現(xiàn)

在虛擬化的 Ubuntu 系統(tǒng)（1 核 CPU、4GB 內(nèi)存）中，TDengine TSDB 單節(jié)點(diǎn)展現(xiàn)出優(yōu)異的資源控制能力：

• CPU 使用率：峰值僅 0.437%，平均 0.335%，無任何性能瓶頸；
• 內(nèi)存占用：穩(wěn)定在 456-462MB，僅占分配內(nèi)存的 11.5%；
• 磁盤消耗：90 天數(shù)據(jù)存儲(chǔ)僅占用 93.1GiB，日均增量約 1.03GiB；
• 讀寫性能：每秒可寫入 1 萬條數(shù)據(jù)，單條查詢響應(yīng)時(shí)間 < 100ms。

運(yùn)維效率與成本雙優(yōu)化

架構(gòu)優(yōu)化方案落地后，系統(tǒng)核心指標(biāo)顯著改善，實(shí)現(xiàn)運(yùn)維效率與成本的雙重提升：

• 故障回溯效率：從 “半小時(shí)人工排查” 縮短至 “5分鐘定位”，運(yùn)維工作量減少 60%；
• 存儲(chǔ)成本：相比傳統(tǒng)關(guān)系型數(shù)據(jù)庫，90 天數(shù)據(jù)存儲(chǔ)成本降低 40%，支持冷熱數(shù)據(jù)自動(dòng)分級(jí)管理；
• 系統(tǒng)可用性：7×24 小時(shí)連續(xù)運(yùn)行無數(shù)據(jù)丟失，數(shù)據(jù)完整性達(dá) 100%；
• 擴(kuò)展能力：單節(jié)點(diǎn) TDengine TSDB 即可支撐整個(gè)庫區(qū)多臺(tái)天車的 1 萬 + 通訊點(diǎn)，新增天車僅需自動(dòng)創(chuàng)建子表，無需修改架構(gòu)。

未來規(guī)劃

未來，我們將基于當(dāng)前 TDengine TSDB 的應(yīng)用成果，借助其訂閱功能把天車位置、料位數(shù)據(jù)實(shí)時(shí)推送至 Unity 引擎，實(shí)現(xiàn)庫區(qū)作業(yè)場(chǎng)景的三維可視化映射；同時(shí)依托 TDengine TSDB 積累的運(yùn)行數(shù)據(jù)訓(xùn)練故障預(yù)測(cè)模型，提前 72 小時(shí)預(yù)警設(shè)備異常以升級(jí)維護(hù)模式。

關(guān)于安徽智質(zhì)

安徽智質(zhì)工程技術(shù)有限公司是安徽海螺水泥股份有限公司旗下的國有控股高科技企業(yè)與軟硬件提供商。公司專注智能質(zhì)量控制、設(shè)備智能運(yùn)維、工廠智慧管控、工業(yè)自動(dòng)化等技術(shù)產(chǎn)品的研發(fā)、生產(chǎn)、銷售及服務(wù)，為水泥、有色、化工、炭素等行業(yè)客戶提供全方位解決方案與定制化服務(wù)，現(xiàn)打造上海 + 蕪湖 “雙核” 發(fā)展模式。公司始終秉承 “賦能美好工業(yè)未來” 的使命，踐行 “至高品質(zhì)、至誠服務(wù)” 的經(jīng)營宗旨，力爭(zhēng)成為全球智能設(shè)備、智能控制領(lǐng)域引領(lǐng)者和全國智慧工廠、智慧城市及工業(yè)自動(dòng)化領(lǐng)域領(lǐng)先者。

作者：智能工廠事業(yè)部

公司業(yè)務(wù)與數(shù)據(jù)挑戰(zhàn)：全球化社交平臺(tái)的數(shù)據(jù)脈搏

我們是一家專注于社交產(chǎn)品研發(fā)與運(yùn)營的科技企業(yè)，始終強(qiáng)調(diào)“讓生活更美好”的使命，以及“一切以用戶為核心”的經(jīng)營理念。我們的核心業(yè)務(wù)，是通過產(chǎn)品為全球用戶提供創(chuàng)新的視頻社交和直播互動(dòng)體驗(yàn)。

Niki Live 是一款面向海外市場(chǎng)的視頻社交應(yīng)用，核心功能包括實(shí)時(shí)視頻聊天、直播互動(dòng)、虛擬禮物打賞以及基于位置的社交發(fā)現(xiàn)。這些業(yè)務(wù)天然具有高并發(fā)、低延遲、強(qiáng)實(shí)時(shí)的技術(shù)特征：用戶進(jìn)入直播間、發(fā)送彈幕、點(diǎn)贊、送禮、連麥、切換直播間、停留或離開，每一個(gè)動(dòng)作都需要被即時(shí)記錄、快速分析，并反饋到推薦、榜單、運(yùn)營和風(fēng)控等業(yè)務(wù)鏈路中。

在引入 TDengine 時(shí)序數(shù)據(jù)庫之前，我們主要面臨三類核心挑戰(zhàn)：

1. 數(shù)據(jù)存儲(chǔ)壓力巨大：社交直播業(yè)務(wù)日均產(chǎn)生數(shù)億條用戶行為日志（如點(diǎn)贊、評(píng)論、禮物打賞）、百萬級(jí)直播流數(shù)據(jù)（如彈幕、連麥狀態(tài)、直播間熱度），傳統(tǒng)關(guān)系型數(shù)據(jù)庫（如MySQL）的表結(jié)構(gòu)設(shè)計(jì)復(fù)雜，索引膨脹嚴(yán)重，存儲(chǔ)成本極高。Niki Live 面向全球用戶，數(shù)據(jù)產(chǎn)生是 24 小時(shí)不間斷的，用戶分布在不同大洲，歷史數(shù)據(jù)歸檔和跨地域數(shù)據(jù)治理也給傳統(tǒng)架構(gòu)帶來了很大壓力。
2. 實(shí)時(shí)分析性能嚴(yán)重不足：直播間實(shí)時(shí)互動(dòng)場(chǎng)景（如彈幕風(fēng)暴、TOP貢獻(xiàn)者榜單刷新）依賴數(shù)據(jù)庫毫秒級(jí)響應(yīng)。傳統(tǒng)數(shù)據(jù)庫在高并發(fā)聚合查詢（如“當(dāng)前全平臺(tái)熱度TOP100的直播間”）時(shí)響應(yīng)時(shí)間長達(dá)秒級(jí)，嚴(yán)重影響用戶體驗(yàn)和平臺(tái)核心互動(dòng)鏈路的順暢性。此外，Niki Live 的“發(fā)現(xiàn)”功能需要實(shí)時(shí)分析用戶行為（如進(jìn)入直播間、停留時(shí)長、互動(dòng)行為），以便快速進(jìn)行個(gè)性化推薦，傳統(tǒng)多表關(guān)聯(lián)查詢效率低下，成為業(yè)務(wù)瓶頸。
3. 運(yùn)維復(fù)雜度與成本高企：業(yè)務(wù)涉及用戶行為數(shù)據(jù)、直播流媒體質(zhì)量數(shù)據(jù)、運(yùn)營日志、財(cái)務(wù)流水（禮物）等多種數(shù)據(jù)源，需維護(hù)多套數(shù)據(jù)庫（如 MySQL 用于交易、Redis 用于緩存和實(shí)時(shí)排行、Elasticsearch 用于日志搜索），架構(gòu)復(fù)雜，數(shù)據(jù)一致性維護(hù)困難，運(yùn)維成本高昂。

面向高頻互動(dòng)數(shù)據(jù)的時(shí)序數(shù)據(jù)庫升級(jí)

我們沉淀下來的這些數(shù)據(jù)有著非常明確的共同特征：數(shù)據(jù)量大、寫入頻率高、時(shí)序?qū)傩詮?qiáng)、實(shí)時(shí)聚合需求多、歷史留存周期長。傳統(tǒng)關(guān)系型數(shù)據(jù)庫并不是為這類數(shù)據(jù)模型和查詢模式設(shè)計(jì)的，而 TDengine TSDB 專為時(shí)序數(shù)據(jù)場(chǎng)景構(gòu)建，能夠更好地匹配我們的業(yè)務(wù)需求。

1. 專為時(shí)序數(shù)據(jù)設(shè)計(jì)，顯著降低 TCO
   – TDengine TSDB 的列式存儲(chǔ) + 自適應(yīng)壓縮算法對(duì)時(shí)序數(shù)據(jù)（如時(shí)間戳、用戶ID、數(shù)值型指標(biāo)）壓縮率極高，相比傳統(tǒng)方案，存儲(chǔ)成本降低超過 80%。
   – 完美契合全球化業(yè)務(wù)：原生支持冷熱數(shù)據(jù)分層存儲(chǔ)，可將訪問頻率低的海外歷史數(shù)據(jù)自動(dòng)歸檔至對(duì)象存儲(chǔ)（如S3），進(jìn)一步優(yōu)化成本，適應(yīng)全球業(yè)務(wù)的數(shù)據(jù)治理需求。
2. 極致的寫入與查詢性能，滿足實(shí)時(shí)性要求
   – 單節(jié)點(diǎn)即可支持百萬級(jí) TPS 寫入，輕松應(yīng)對(duì)全球不同時(shí)區(qū)帶來的直播高峰（如晚間黃金時(shí)段）。
   – 毫秒級(jí)聚合查詢：通過內(nèi)置的超級(jí)表概念和標(biāo)簽索引，無需復(fù)雜 Join 即可實(shí)現(xiàn)多維度交叉分析（如“按國家、平臺(tái)統(tǒng)計(jì)過去 10 分鐘各類型直播間的平均觀看時(shí)長”），查詢性能從秒級(jí)提升至毫秒級(jí)。
3. 極簡架構(gòu)，一站式解決時(shí)序數(shù)據(jù)需求
   – 一套 TDengine TSDB 集群即可替代原有“MySQL + Redis + Kafka + Elasticsearch”中用于時(shí)序數(shù)據(jù)處理的復(fù)雜組件鏈，大幅降低 60% 的運(yùn)維復(fù)雜度。
   – 內(nèi)含流式計(jì)算引擎：無需引入額外的流處理框架（如 Flink），即可實(shí)現(xiàn)窗口聚合、實(shí)時(shí)告警等能力，簡化了數(shù)據(jù)管道。
   – 支持一鍵水平擴(kuò)展，數(shù)據(jù)自動(dòng)分片，適應(yīng)業(yè)務(wù)爆發(fā)式增長。
4. 全球化適配：支持多時(shí)區(qū)、多語言環(huán)境下的高效數(shù)據(jù)治理，賦能 Niki Live 的全球擴(kuò)張戰(zhàn)略。

該架構(gòu)圖直觀展示了 TDengine TSDB 如何作為 Niki Live 全球社交直播業(yè)務(wù)的時(shí)序數(shù)據(jù)基座，以極簡的架構(gòu)支撐復(fù)雜的業(yè)務(wù)場(chǎng)景，實(shí)現(xiàn)從數(shù)據(jù)采集到價(jià)值呈現(xiàn)的全鏈路優(yōu)化。

核心業(yè)務(wù)場(chǎng)景與 TDengine TSDB 應(yīng)用實(shí)例

場(chǎng)景 1：用戶互動(dòng)實(shí)時(shí)分析（如全球直播間熱度榜）

業(yè)務(wù)目標(biāo)：實(shí)時(shí)計(jì)算全球所有直播間的互動(dòng)熱度（綜合彈幕、禮物、點(diǎn)贊、觀看人數(shù)等），生成全平臺(tái)實(shí)時(shí)熱度榜單，用于首頁推薦和熱門流量分發(fā)。

TDengine TSDB 的具體實(shí)現(xiàn)——

• 數(shù)據(jù)模型：使用超級(jí)表統(tǒng)一管理全球直播間數(shù)據(jù)流。

CREATE STABLE live_rooms (
    ts TIMESTAMP,
    online_users INT,
    new_danmaku_count INT,
    gift_value DOUBLE
) TAGS (room_id BIGINT, country VARCHAR(10), language_type VARCHAR(10), category VARCHAR(20));

• 實(shí)時(shí)查詢 SQL：計(jì)算過去 5 分鐘熱度 TOP100 的直播間（熱度=在線人數(shù) * 0.3 + 彈幕數(shù) * 0.2 + 禮物價(jià)值 * 0.5）。

SELECT 
    room_id, 
    country,
    category,
    (AVG(online_users)*0.3 + SUM(new_danmaku_count)*0.2 + SUM(gift_value)*0.5) as hot_score
FROM live_rooms 
WHERE ts >= NOW() - 5m 
GROUP BY room_id, country, category 
ORDER BY hot_score DESC 
LIMIT 100;

達(dá)成效果——

• 查詢延遲從 10+ 秒 提升至 100 毫秒以內(nèi)；
• 實(shí)時(shí)榜單更新頻率提升至每 10 秒刷新一次；
• 用戶互動(dòng)率提升 12%。

場(chǎng)景 2：直播流質(zhì)量與用戶體驗(yàn)全球監(jiān)控

業(yè)務(wù)目標(biāo)：實(shí)時(shí)監(jiān)控全球各地用戶觀看直播的體驗(yàn)指標(biāo)，如卡頓率、首屏加載時(shí)間、分辨率切換等，及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)劣化或 CDN 故障，保障 Niki Live 的優(yōu)質(zhì)用戶體驗(yàn)。

TDengine TSDB 的具體實(shí)現(xiàn)——

• 數(shù)據(jù)模型如下：

CREATE STABLE stream_quality (
    ts TIMESTAMP,
    buffering_count INT,
    avg_bitrate DOUBLE,
    resolution_change INT
) TAGS (user_id BIGINT, room_id BIGINT, country VARCHAR(10), isp VARCHAR(20));

• 流計(jì)算與告警：創(chuàng)建流式計(jì)算任務(wù)，每分鐘統(tǒng)計(jì)各國家、各運(yùn)營商網(wǎng)絡(luò)下的平均卡頓次數(shù)，并觸發(fā)告警。

CREATE STREAM IF NOT EXISTS quality_monitor INTERVAL(1m) SLIDING(1m) 
FROM stream_quality PARTITION BY country, isp INTO quality_stats 
AS 
SELECT 
    _twstart as window_start,
    %%1,
    %%2,
    AVG(buffering_count) as avg_buffering,
    COUNT(*) as sample_count
FROM %%trows;

• 可對(duì)接告警系統(tǒng)，當(dāng)avg_buffering超過閾值時(shí)立即通知運(yùn)維團(tuán)隊(duì)。

達(dá)成效果——

• 異常流（卡頓率 > 5%）5 秒內(nèi)觸發(fā)告警；
• 故障平均響應(yīng)時(shí)間縮短 90%；
• 用戶投訴率下降 56%。

場(chǎng)景 3：虛擬禮物經(jīng)濟(jì)與藝人/主播收益分析

業(yè)務(wù)目標(biāo)：分析頭部藝人的粉絲打賞行為、高價(jià)值禮物分布時(shí)段，為主播和平臺(tái)運(yùn)營提供數(shù)據(jù)洞察，如制定開播時(shí)間策略、設(shè)計(jì)熱門禮物活動(dòng)等。

TDengine TSDB 的具體實(shí)現(xiàn)——

• 數(shù)據(jù)模型如下：

CREATE STABLE gift_transactions (
    ts TIMESTAMP,
    gift_id INT,
    gift_value DOUBLE,
    quantity INT
) TAGS (giver_id BIGINT, receiver_id BIGINT, room_id BIGINT, currency VARCHAR(5));

• 聚合分析示例：分析某頂級(jí)藝人“StarXYZ”在過去 30 天內(nèi)，按小時(shí)分布的禮物收入情況。

SELECT 
    _wstart as window_start,
    SUM(gift_value * quantity) as total_revenue,
    COUNT(gift_id) as unique_donors
FROM gift_transactions 
WHERE receiver_id = 'StarXYZ' AND ts >= NOW() - 30d
interval(1h)
order by total_revenue DESC;

達(dá)成效果——

• 運(yùn)營團(tuán)隊(duì)可秒級(jí)生成粉絲熱力圖；
• 主播開播時(shí)間匹配粉絲高峰時(shí)段后，平均觀看時(shí)長提升 18%；
• 粉絲月留存率提升 15%。

結(jié)語

通過引入 TDengine TSDB，我們?yōu)楹诵纳缃恢辈ギa(chǎn)品 Niki Live 構(gòu)建了高性能、低成本、易擴(kuò)展的時(shí)序數(shù)據(jù)基石。其不僅完美解決了傳統(tǒng)數(shù)據(jù)庫在應(yīng)對(duì)海量高并發(fā)時(shí)序數(shù)據(jù)時(shí)的性能瓶頸與存儲(chǔ)成本難題，內(nèi)含的流計(jì)算能力和極簡的架構(gòu)更是極大地降低了全球業(yè)務(wù)的運(yùn)維復(fù)雜度。通過覆蓋從實(shí)時(shí)互動(dòng)、質(zhì)量監(jiān)控到離線分析的全業(yè)務(wù)場(chǎng)景，TDengine TSDB 有力地支撐了我們公司“讓生活更美好”的企業(yè)使命和“一切以用戶為核心”的經(jīng)營理念，為在激烈的全球社交市場(chǎng)競(jìng)爭(zhēng)中提供了堅(jiān)實(shí)的技術(shù)保障，是直播社交行業(yè)進(jìn)行數(shù)字化轉(zhuǎn)型的理想技術(shù)選擇。

關(guān)于 Niki Live

Niki Live 是一家專注于社交娛樂產(chǎn)品創(chuàng)新的科技企業(yè)。核心產(chǎn)品是一款面向全球市場(chǎng)的實(shí)時(shí)音視頻社交平臺(tái)，覆蓋 100+ 國家和地區(qū)，擁有超 500 萬下載量與 10 萬+優(yōu)質(zhì)主播。企業(yè)文化強(qiáng)調(diào)“一切以用戶為核心”，致力于通過技術(shù)手段提升陌生人社交效率與情感連接質(zhì)量。公司積極參與“凈網(wǎng)行動(dòng)”等社會(huì)責(zé)任項(xiàng)目，并持續(xù)投入未成年人保護(hù)機(jī)制建設(shè)。

作者：尤成成

項(xiàng)目背景

在寧夏新能源集控項(xiàng)目中，華東院為電建新能源集團(tuán)打造的區(qū)域集控中心，圍繞集中監(jiān)控、場(chǎng)站協(xié)管、資源共享、維檢支持及電力交易等方面進(jìn)行建設(shè)。該中心依托集控平臺(tái)匯聚運(yùn)維資源，開展專業(yè)化能力建設(shè)，通過集約化、標(biāo)準(zhǔn)化、共享化與專業(yè)化的運(yùn)營模式，實(shí)現(xiàn)降本增效，助力下屬新能源場(chǎng)站安全生產(chǎn)與高效運(yùn)維。

目前，寧夏集控中心共接入 9 個(gè)新能源場(chǎng)站，涵蓋風(fēng)電、光伏、儲(chǔ)能等多種類型，總發(fā)電裝機(jī)達(dá) 1039.8MW，儲(chǔ)能總裝機(jī)達(dá) 100MW。數(shù)據(jù)測(cè)點(diǎn)經(jīng)場(chǎng)站側(cè)篩選與邊緣處理后，約有 80 萬測(cè)點(diǎn)進(jìn)入集控中心數(shù)據(jù)庫。

對(duì)集控中心數(shù)據(jù)庫而言，需要解決以下三大技術(shù)問題：

1. 持續(xù)寫入問題：當(dāng)前有 80 萬測(cè)點(diǎn)持續(xù)寫入，考慮后續(xù)擴(kuò)容需求，中心數(shù)據(jù)庫需要承接 ≥100萬點(diǎn)的持續(xù)寫入壓力；
2. 長期存儲(chǔ)問題：歷史數(shù)據(jù)存儲(chǔ)時(shí)間 ≥ 6 年；
3. 實(shí)時(shí)性問題：畫面數(shù)據(jù)實(shí)時(shí)刷新周期 1s～3s。

也就是說，我們面臨的并不是單一性能問題，而是持續(xù)寫入、長期存儲(chǔ)、實(shí)時(shí)應(yīng)用三者并存的綜合性挑戰(zhàn)，這對(duì)數(shù)據(jù)庫提出了很高的要求。

選型 TDengine 的原因

集控中心的數(shù)據(jù)庫需要滿足持續(xù)寫入、長期存儲(chǔ)和查詢實(shí)時(shí)性的技術(shù)要求，同時(shí)還要綜合考慮成本、國產(chǎn)化以及技術(shù)服務(wù)支持能力。我們調(diào)研了多家數(shù)據(jù)庫競(jìng)品，經(jīng)過綜合對(duì)比后選擇了 TDengine TSDB。主要考慮因素有以下幾點(diǎn)：

1. TDengine TSDB 的讀寫性能十分優(yōu)異，能夠滿足集控中心對(duì)數(shù)據(jù)持續(xù)寫入以及實(shí)時(shí)、歷史數(shù)據(jù)快速查詢的業(yè)務(wù)需求；
2. TDengine TSDB 作為一款開源產(chǎn)品，能夠免費(fèi)下載和試用，選型初期我們?cè)谏鐓^(qū)版上進(jìn)行了基礎(chǔ)功能和性能的測(cè)試驗(yàn)證，為后續(xù)的溝通交流打下了良好基礎(chǔ)；
3. TDengine TSDB 作為一款開源產(chǎn)品，能夠免費(fèi)下載和試用，選型初期我們?cè)谏鐓^(qū)版上進(jìn)行了基礎(chǔ)功能和性能的測(cè)試驗(yàn)證，為后續(xù)的溝通交流打下了良好基礎(chǔ)；
4. TDengine TSDB 企業(yè)版帶有完善的售后服務(wù)支持，對(duì)于追求業(yè)務(wù)穩(wěn)定性的我們而言，能夠得到原廠快速、專業(yè)支持十分重要。

TDengine 實(shí)施策略

整體架構(gòu)

寧夏新能源集控中心需要接入 9 個(gè)新能源場(chǎng)站超過 80 萬測(cè)點(diǎn)的數(shù)據(jù)，數(shù)據(jù)寫入 TDengine TSDB 集群的壓力約為 20 萬條/秒。結(jié)合業(yè)務(wù)分區(qū)要求，我們將集控中心安全一區(qū)與三區(qū)的數(shù)據(jù)分別存儲(chǔ)，同時(shí)實(shí)現(xiàn)一區(qū)數(shù)據(jù)向三區(qū)的實(shí)時(shí)同步。其中，一區(qū)主要支撐遠(yuǎn)程控制系統(tǒng)，三區(qū)主要支撐集中監(jiān)視系統(tǒng)以及高階分析系統(tǒng)。

一三區(qū)整體架構(gòu)示意

數(shù)據(jù)建模

時(shí)序數(shù)據(jù)庫與傳統(tǒng)關(guān)系型數(shù)據(jù)庫的建模理念與方法完全不同，好的數(shù)據(jù)建模能夠使將來的業(yè)務(wù)應(yīng)用做到事半功倍。

建庫策略

我們考慮了多種數(shù)據(jù)組織方式，優(yōu)劣分析如下：

經(jīng)過與濤思數(shù)據(jù)專家討論，我們最終確定采用按場(chǎng)站組織數(shù)據(jù)存儲(chǔ)的方式，即 1 個(gè)場(chǎng)站對(duì)應(yīng) 1 個(gè)數(shù)據(jù)庫實(shí)例。每個(gè)數(shù)據(jù)庫默認(rèn)包含 104 和 modbus 兩類數(shù)據(jù)，其他數(shù)據(jù)后期按需增加。9 個(gè)站的數(shù)據(jù)庫名稱如下：

建表策略

我們的業(yè)務(wù)要求之一，是能夠根據(jù)通道 ID、公共地址（從機(jī)地址）和信息體地址快速定位到測(cè)點(diǎn)，或者能夠通過這些字段實(shí)現(xiàn)高效表過濾。

在 TDengine TSDB 的設(shè)念中，我們業(yè)務(wù)上所說的 “測(cè)點(diǎn)” ，實(shí)際上對(duì)應(yīng) TDengine TSDB 中的 “子表” 概念，TDengine TSDB 將數(shù)據(jù)字段分為數(shù)據(jù)列與標(biāo)簽列，并為標(biāo)簽列過濾進(jìn)行了特殊優(yōu)化，我們只需把上述篩選字段作為超級(jí)表的標(biāo)簽列，即可很方便地對(duì)測(cè)點(diǎn)進(jìn)行條件篩選。

例如對(duì)于 st_telemetry_short_float 超級(jí)表，將常用的測(cè)點(diǎn)（子表）篩選條件 channel_id、 common_address、 object_address 作為 tag（標(biāo)簽） 列，就能通過超級(jí)表快速篩選涉及的一張或一批子表，并執(zhí)行數(shù)據(jù)查詢。

TDengine TSDB 這種針對(duì)物聯(lián)網(wǎng)設(shè)備的特殊建模方式，對(duì)我們進(jìn)行數(shù)據(jù)建模以及后續(xù)應(yīng)用提供了很多便利。

TDengine TSDB 針對(duì)這種查詢專門進(jìn)行了優(yōu)化，可以配置最新值緩存策略，將所有子表的最新一條非空值或最新一行記錄緩存到 cache 中，從而在查詢時(shí)獲得更快的響應(yīng)速度和更好的并發(fā)支持能力。

具體來說，我們通過建庫參數(shù) cachemodel 和 cachesize 來設(shè)置緩存策略以及緩存占用空間大小。

由于我們的業(yè)務(wù)對(duì) last 和 last_row 都有需求，因此所有場(chǎng)站數(shù)據(jù)庫都開啟了緩存策略，并將 cachemodel 統(tǒng)一設(shè)置為 both，也就是同時(shí)緩存 last 與 last_row。

不過，緩存并不是越大越好。由于每個(gè)數(shù)據(jù)庫的子表數(shù)量和表結(jié)構(gòu)都不完全相同，緩存空間需要結(jié)合實(shí)際情況進(jìn)行配置：設(shè)置過大會(huì)浪費(fèi)內(nèi)存，設(shè)置過小則會(huì)導(dǎo)致緩存頻繁刷新，反而影響寫入效率并浪費(fèi)系統(tǒng)資源。

經(jīng)過持續(xù)調(diào)整，目前三區(qū)的緩存配置如下圖所示：

數(shù)據(jù)訂閱

為了實(shí)現(xiàn)大屏組態(tài)的實(shí)現(xiàn)數(shù)據(jù)刷新，我們通過訂閱方式實(shí)時(shí)獲取所關(guān)注子表數(shù)據(jù)的最新記錄。

在 TDengine TSDB 中，我們可以直接通過 SQL 語句創(chuàng)建帶篩選條件的 topic。業(yè)務(wù)程序只需要訂閱對(duì)應(yīng) topic，就能夠持續(xù)獲取符合條件的最新數(shù)據(jù)。

例如，我們創(chuàng)建 topic 的 SQL 如下：

create topic prod_djnx_zwdwse_lg_st_telemetry_short_float as select ts,`channel_id`,`object_address`, `r32` from db_solar_wz52.st_telemetry_short_float;

TDengine TSDB 的數(shù)據(jù)訂閱依賴 WAL 文件。由于數(shù)據(jù)寫入后會(huì)第一時(shí)間進(jìn)入 WAL，數(shù)據(jù)訂閱能夠保障訂閱程序第一時(shí)間獲取更新的數(shù)據(jù)內(nèi)容，這對(duì)于需要實(shí)時(shí)刷新的監(jiān)視類應(yīng)用非常關(guān)鍵。

目前，三區(qū)正在使用的 topic 一共有 29 個(gè)：

多級(jí)存儲(chǔ)節(jié)省存儲(chǔ)成本

為了節(jié)省存儲(chǔ)成本，我們采購了 NAS 來存儲(chǔ)長期歷史數(shù)據(jù)，結(jié)合 TDengine TSDB 的多級(jí)存儲(chǔ)功能，利用不同的存儲(chǔ)介質(zhì)存儲(chǔ)不同時(shí)間段、不同訪問頻率的數(shù)據(jù)，有效降低了數(shù)據(jù)存儲(chǔ)成本。

NAS（Network Attached Storage，網(wǎng)絡(luò)附加存儲(chǔ)）是一種專門用于數(shù)據(jù)存儲(chǔ)和共享的網(wǎng)絡(luò)設(shè)備，它通過局域網(wǎng)（LAN）為多用戶或其他設(shè)備提供集中化的存儲(chǔ)空間。TDengine TSDB 只能支持 iSCSI 掛載方式，不支持 NFS、CIFS 等掛載方式。

在濤思服務(wù)中心專家的支持下，通過增加 NAS 設(shè)備掛載點(diǎn)、修改數(shù)據(jù)庫的 KEEP 參數(shù)以及 taos.cfg 配置文件操作，實(shí)現(xiàn)了數(shù)據(jù)的多級(jí)存儲(chǔ)。具體操作步驟如下：

1. 在服務(wù)器上增加 NAS 掛載點(diǎn) data1；

2. 修改 KEEP 參數(shù)，修改策略為：8 個(gè)月 （240 天）之內(nèi)的數(shù)據(jù)存儲(chǔ)在本機(jī)磁盤上，超過 240 天的數(shù)據(jù)會(huì)存儲(chǔ)到 NAS 上；

3. 修改 taos.cfg配置文件，指定 0 級(jí)存儲(chǔ)與 1 級(jí)存儲(chǔ)路徑。

通過上述配置，即可實(shí)現(xiàn)數(shù)據(jù)按照時(shí)間范圍的多級(jí)存儲(chǔ)。

TDengine 業(yè)務(wù)應(yīng)用

全局監(jiān)視系統(tǒng)

依托 TDengine TSDB ，全局監(jiān)視系統(tǒng)實(shí)現(xiàn)了監(jiān)視頁面數(shù)據(jù)實(shí)時(shí)刷新以及歷史數(shù)據(jù)查詢快速響應(yīng)。

如下圖所示，在場(chǎng)站監(jiān)視頁面，通過實(shí)時(shí)數(shù)據(jù)訂閱，監(jiān)視畫面就能夠?qū)崟r(shí)獲取所有場(chǎng)站當(dāng)前的狀態(tài)信息以及關(guān)鍵的統(tǒng)計(jì)信息、告警內(nèi)容等。

數(shù)據(jù)分析系統(tǒng)

依托 TDengine TSDB 的高性能查詢能力，數(shù)據(jù)分析系統(tǒng)實(shí)現(xiàn)了大量統(tǒng)計(jì)指標(biāo)的定期更新。

如圖所示，數(shù)據(jù)分析系統(tǒng)主要用于定時(shí)統(tǒng)計(jì)任務(wù)，會(huì)按照固定時(shí)間周期從 TDengine TSDB 中進(jìn)行大量數(shù)據(jù)查詢。例如在電廠生產(chǎn)對(duì)標(biāo)應(yīng)用場(chǎng)景中，將各種關(guān)鍵指標(biāo)與去年同期進(jìn)行對(duì)比分析，計(jì)算同比，為經(jīng)營分析與生產(chǎn)優(yōu)化提供支撐。

未來展望

寧夏新能源集控中心自投入運(yùn)行以來，TDengine TSDB 集群整體保持穩(wěn)定運(yùn)行。在集控中心成功應(yīng)用 TDengine TSDB 的經(jīng)驗(yàn)，進(jìn)一步堅(jiān)定了電建新能源集團(tuán)深耕新能源數(shù)字化領(lǐng)域的信心。后續(xù)，集團(tuán)計(jì)劃將 TDengine TSDB 的應(yīng)用范圍拓展至電力交易等更多業(yè)務(wù)環(huán)節(jié)，與 TDengine 攜手為新能源領(lǐng)域客戶創(chuàng)造更大價(jià)值。

關(guān)于華東院

中國電建集團(tuán)華東勘測(cè)設(shè)計(jì)研究院有限公司（簡稱華東院）成立于 1954 年，具有工程設(shè)計(jì)綜合甲級(jí)、工程勘察綜合甲級(jí)、工程咨詢綜合甲級(jí)、工程總承包與設(shè)備成套等十多個(gè)國家最高等級(jí)的資質(zhì)證書。全院新能源從業(yè)人員達(dá) 1000 余人，業(yè)務(wù)涉及海上風(fēng)電、陸上風(fēng)電、光伏、儲(chǔ)能、微電網(wǎng)、地?zé)崮?、海洋能等。憑借著工程 + IT 的優(yōu)勢(shì)，自 2012 年啟動(dòng)海上風(fēng)電三維數(shù)字化設(shè)計(jì)以來，持續(xù)深耕風(fēng)電、光伏、綜合能源領(lǐng)域的數(shù)字化，具備頂層規(guī)劃、方案設(shè)計(jì)、產(chǎn)品研發(fā)、工程交付、實(shí)施運(yùn)維等全鏈路的服務(wù)能力。

作者：林子義，劉藝博（濤思數(shù)據(jù)）

背景和挑戰(zhàn)

中國石油智慧運(yùn)營平臺(tái)是中國石油推進(jìn)油氣田生產(chǎn)數(shù)字化、智能化管理的核心系統(tǒng)。圍繞這個(gè)平臺(tái)，我們需要持續(xù)接入全國數(shù)十個(gè)油田現(xiàn)場(chǎng)的實(shí)時(shí)生產(chǎn)數(shù)據(jù)，數(shù)據(jù)類型覆蓋壓力、溫度、流量、示功圖等上百種工況參數(shù)，具有高頻產(chǎn)生、連續(xù)寫入、規(guī)模龐大的典型時(shí)序特征。

這些數(shù)據(jù)直接服務(wù)于多項(xiàng)關(guān)鍵業(yè)務(wù)：一是對(duì)全國油田單井、站庫、管道的設(shè)備運(yùn)行狀態(tài)和生產(chǎn)工藝參數(shù)進(jìn)行全天候監(jiān)測(cè)；二是對(duì)抽油機(jī)停機(jī)、壓力驟升、工藝超標(biāo)等異常情況進(jìn)行秒級(jí)識(shí)別和告警，保障安全生產(chǎn)；三是基于歷史數(shù)據(jù)分析單井生產(chǎn)效率、設(shè)備能耗和生產(chǎn)制度優(yōu)化空間；四是為集團(tuán)和油田公司各級(jí)管理人員提供統(tǒng)一、實(shí)時(shí)的大屏視圖，支撐遠(yuǎn)程生產(chǎn)調(diào)度與指揮。

隨著平臺(tái)從 1.0 向 2.0 演進(jìn)，原有技術(shù)架構(gòu)的局限逐漸顯現(xiàn)。傳統(tǒng)關(guān)系型數(shù)據(jù)庫難以承受每秒數(shù)十萬數(shù)據(jù)點(diǎn)的高頻寫入，容易造成數(shù)據(jù)堆積和延遲；海量傳感器數(shù)據(jù)使存儲(chǔ)空間快速增長，磁盤擴(kuò)容成本持續(xù)上升，歷史數(shù)據(jù)保存周期也受到擠壓；在查詢分析方面，簡單歷史數(shù)據(jù)檢索往往需要數(shù)十秒，跨設(shè)備、跨時(shí)間段的聚合分析可能耗時(shí)數(shù)分鐘，難以滿足交互式分析需求；同時(shí)，原架構(gòu)依賴多個(gè)異構(gòu)數(shù)據(jù)庫和中間件，系統(tǒng)鏈路復(fù)雜，運(yùn)維工作量大，故障定位和擴(kuò)展也較為困難。

這些痛點(diǎn)嚴(yán)重制約了平臺(tái)價(jià)值的發(fā)揮，因此，尋找一個(gè)專為時(shí)序數(shù)據(jù)設(shè)計(jì)、高性能、低成本的數(shù)據(jù)庫解決方案成為項(xiàng)目成敗的關(guān)鍵。

對(duì)比選型

在智慧運(yùn)營平臺(tái) 2.0 的數(shù)據(jù)庫選型階段，我們項(xiàng)目團(tuán)隊(duì)首先明確了幾個(gè)核心要求：系統(tǒng)既要支撐油氣田現(xiàn)場(chǎng)高頻采集數(shù)據(jù)的持續(xù)寫入，也要滿足后續(xù)生產(chǎn)分析、設(shè)備監(jiān)測(cè)和業(yè)務(wù)查詢的實(shí)時(shí)性需求；同時(shí)，隨著數(shù)據(jù)規(guī)模不斷擴(kuò)大，存儲(chǔ)成本、系統(tǒng)可用性以及后期運(yùn)維復(fù)雜度也必須被納入統(tǒng)一考量。因此，團(tuán)隊(duì)重點(diǎn)從寫入吞吐、查詢效率、壓縮能力、SQL 兼容性、集群高可用能力以及架構(gòu)簡潔度等方面，對(duì)多種時(shí)序數(shù)據(jù)庫和大數(shù)據(jù)平臺(tái)方案進(jìn)行了驗(yàn)證。

在概念驗(yàn)證過程中，TDengine TSDB 的整體表現(xiàn)更符合項(xiàng)目需求。油氣田場(chǎng)景中設(shè)備數(shù)量眾多、采集指標(biāo)相對(duì)固定，TDengine TSDB “一個(gè)設(shè)備一張表” 的建模方式與“超級(jí)表”概念，與這一業(yè)務(wù)特征具有較高匹配度。在相同硬件測(cè)試環(huán)境下，TDengine TSDB 展現(xiàn)出了更高的寫入效率，其寫入速度達(dá)到 InfluxDB 的 2.5 倍；同時(shí)，數(shù)據(jù)壓縮比達(dá)到 1:10，優(yōu)于 TimescaleDB 的 1:7，能夠有效降低長期數(shù)據(jù)留存帶來的存儲(chǔ)壓力。此外，TDengine TSDB 對(duì)標(biāo)準(zhǔn) SQL 的支持，也降低了原有業(yè)務(wù)系統(tǒng)遷移和改造的難度，使開發(fā)團(tuán)隊(duì)能夠更順暢地完成平臺(tái)升級(jí)；其強(qiáng)大的集群與高可用能力也保證了平臺(tái) 7×24 小時(shí)穩(wěn)定運(yùn)行。

相比之下，InfluxDB 在開源版本中缺少集群能力，若采用企業(yè)版則會(huì)帶來較高成本；并且在超大規(guī)模數(shù)據(jù)場(chǎng)景下，查詢性能會(huì)出現(xiàn)較明顯下降。TimescaleDB 依托 PostgreSQL 生態(tài)，在 SQL 兼容性方面具備一定優(yōu)勢(shì)，但面對(duì)典型的物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)場(chǎng)景，其壓縮率和查詢性能與 TDengine TSDB 相比仍有差距。

經(jīng)過多輪驗(yàn)證和綜合評(píng)估，我們最終選擇 TDengine TSDB 作為智慧運(yùn)營平臺(tái) 2.0 的核心時(shí)序數(shù)據(jù)庫。它在性能、成本、功能完整性和易用性之間形成了較好的平衡，能夠滿足平臺(tái)長期穩(wěn)定運(yùn)行和后續(xù)業(yè)務(wù)擴(kuò)展的要求。

智慧運(yùn)營升級(jí) 2.0 系統(tǒng)

平臺(tái)架構(gòu)

下圖為基于 TDengine TSDB 重構(gòu)后的智慧運(yùn)營平臺(tái)簡化架構(gòu)圖：

整體數(shù)據(jù)流可以概括為以下幾個(gè)環(huán)節(jié)：

1. 各油田現(xiàn)場(chǎng)的 OPC 服務(wù)器通過 OPC DA/UA 協(xié)議采集 PLC 與 RTU 設(shè)備數(shù)據(jù)。
2. taosX Agent 作為輕量級(jí)代理，部署在邊緣側(cè)，負(fù)責(zé)可靠地采集 OPC 數(shù)據(jù)并將其轉(zhuǎn)換為 TDengine TSDB 的寫入?yún)f(xié)議。
3. 數(shù)據(jù)通過 taosX 匯聚后，批量、高效地寫入部署在數(shù)據(jù)中心的 TDengine TSDB 集群。
4. 所有業(yè)務(wù)微服務(wù)（如實(shí)時(shí)告警、效能分析、報(bào)表服務(wù)）均通過標(biāo)準(zhǔn) JDBC/Go Connector 等方式直接訪問 TDengine TSDB，獲取實(shí)時(shí)或歷史數(shù)據(jù)。
5. 前端大屏、Web 平臺(tái)和移動(dòng) APP 通過調(diào)用業(yè)務(wù)微服務(wù) API，實(shí)現(xiàn)數(shù)據(jù)的可視化與應(yīng)用。

數(shù)據(jù)零代碼接入 TDengine TSDB

TDengine TSDB 企業(yè)版配備了一個(gè)強(qiáng)大的零代碼數(shù)據(jù)接入工具——taosX。借助 taosX，我們只需在瀏覽器中簡單配置，就能輕松地向 TDengine TSDB 提交任務(wù)，實(shí)現(xiàn)以零代碼方式將來自不同數(shù)據(jù)源的數(shù)據(jù)無縫導(dǎo)入 TDengine TSDB。

在實(shí)際業(yè)務(wù)中，我們以 OPC DA 數(shù)據(jù)接入為例，簡單介紹下操作過程。整體流程比較清晰：

1. 首先部署 taosX Agent 代理程序，檢測(cè)代理是否正常通信（OPC DA 的代理必須部署在 windows 操作系統(tǒng)上）。

2. 配置 OPC DA 服務(wù)連接信息，檢測(cè)連通性是否正常。

3. 配置點(diǎn)位映射信息，可選用 csv 文件配置上傳方式，便于配置批量點(diǎn)位信息，映射配置完成后，直接提交任務(wù)即可。

通過這種方式，我們不僅提高了多油田、多現(xiàn)場(chǎng)的數(shù)據(jù)接入效率，也顯著降低了后續(xù)維護(hù)和變更成本。

業(yè)務(wù)價(jià)值

智慧運(yùn)營平臺(tái) 2.0 引入 TDengine TSDB 之后，獲得的收益并不局限于數(shù)據(jù)庫層面，而是貫穿了平臺(tái)架構(gòu)、成本控制、查詢體驗(yàn)、實(shí)時(shí)預(yù)警和生產(chǎn)決策幾個(gè)方面：

• 架構(gòu)簡化與穩(wěn)定提升：以 TDengine TSDB 為核心構(gòu)建的統(tǒng)一時(shí)序數(shù)據(jù)層，取代了原有復(fù)雜的多組件異構(gòu)架構(gòu)。系統(tǒng)整體復(fù)雜度大幅降低，運(yùn)維效率提升超 50%，為平臺(tái) 7×24 小時(shí)穩(wěn)定運(yùn)行奠定了堅(jiān)實(shí)基礎(chǔ)。
• 運(yùn)維成本降低：通過零代碼接入，大大降低了各油田數(shù)據(jù)接入的復(fù)雜度和后期維護(hù)成本。
• 存儲(chǔ)成本顯著下降：TDengine TSDB 在項(xiàng)目中的實(shí)際表現(xiàn)達(dá)到了 1:10 的存儲(chǔ)壓縮比，有效緩解了海量傳感器數(shù)據(jù)帶來的存儲(chǔ)擴(kuò)容壓力。
• 查詢性能顯著提升：原本分鐘級(jí)的各種指標(biāo)聚合等查詢，現(xiàn)在通過一句簡單的 SQL 即可毫秒級(jí)別返回結(jié)果。實(shí)測(cè)來看，各類業(yè)務(wù) SQL 查詢速度已經(jīng)能夠滿足生產(chǎn)要求，尤其在數(shù)據(jù)統(tǒng)計(jì)、匯算等方面表現(xiàn)優(yōu)異。

數(shù)據(jù)接入后查詢展示如下：

更重要的是，底層能力提升之后，平臺(tái)業(yè)務(wù)價(jià)值也被放大了，主要體現(xiàn)在以下幾個(gè)方面：

• 運(yùn)營效率提升：實(shí)現(xiàn)了生產(chǎn)全過程的可視、可管、可控，指揮決策從事后分析變?yōu)槭虑邦A(yù)警。
• 安全生產(chǎn)保障：通過實(shí)時(shí)告警，成功預(yù)警多次潛在設(shè)備故障，避免了非計(jì)劃停機(jī)和安全事故?；诤撩爰?jí)延遲的實(shí)時(shí)數(shù)據(jù)流與強(qiáng)大的時(shí)序計(jì)算能力，平臺(tái)實(shí)現(xiàn)了對(duì)設(shè)備異常、工藝超標(biāo)等風(fēng)險(xiǎn)的秒級(jí)檢測(cè)與精準(zhǔn)預(yù)警。
• 數(shù)據(jù)驅(qū)動(dòng)決策：為單井效率分析、設(shè)備能效評(píng)估、生產(chǎn)制度優(yōu)化等提供了堅(jiān)實(shí)、高效的數(shù)據(jù)基座，為優(yōu)化生產(chǎn)制度、降低能耗提供了精準(zhǔn)的數(shù)據(jù)依據(jù)。
• 平滑升級(jí)：標(biāo)準(zhǔn) SQL 支持確保了從舊系統(tǒng)向新平臺(tái)的平滑遷移，原有業(yè)務(wù)邏輯和數(shù)據(jù)分析經(jīng)驗(yàn)得以快速復(fù)用，極大保護(hù)了已有投資并加速了價(jià)值兌現(xiàn)進(jìn)程。

總結(jié)而言，TDengine TSDB 不僅解決了智慧運(yùn)營平臺(tái) 2.0 面臨的核心技術(shù)痛點(diǎn)，更在降低成本、提升效率、保障安全、賦能決策等方面產(chǎn)生了巨大的綜合效益。

結(jié)語

TDengine TSDB 在智慧運(yùn)營平臺(tái) 2.0 中的成功實(shí)踐，堅(jiān)定了我們將其作為企業(yè)級(jí)時(shí)序數(shù)據(jù)基石的信心。接下來，我們還會(huì)繼續(xù)沿著三個(gè)方向深化應(yīng)用：

1. 場(chǎng)景深化：將 TDengine TSDB 的應(yīng)用從生產(chǎn)監(jiān)控?cái)U(kuò)展到設(shè)備預(yù)測(cè)性維護(hù)、能效碳效管理等更深層次的業(yè)務(wù)場(chǎng)景，利用其強(qiáng)大的時(shí)序分析能力挖掘數(shù)據(jù)價(jià)值。
2. 邊緣協(xié)同：探索使用 TDengine TSDB 的邊緣計(jì)算版本，在油田邊緣側(cè)實(shí)現(xiàn)數(shù)據(jù)的本地聚合與初步分析，形成“云-邊-端”一體化的數(shù)據(jù)體系。
3. 生態(tài)集成：進(jìn)一步將 TDengine TSDB 與流處理平臺(tái)、AI 算法平臺(tái)深度融合，構(gòu)建從數(shù)據(jù)接入、處理、分析到機(jī)器學(xué)習(xí)應(yīng)用的完整閉環(huán)，持續(xù)賦能中國石油的數(shù)字化轉(zhuǎn)型。

關(guān)于昆侖數(shù)智

昆侖數(shù)智科技有限公司是中國石油集團(tuán)控股的數(shù)字化智能化科技公司，致力于為油氣行業(yè)提供全產(chǎn)業(yè)鏈的數(shù)字化解決方案，推動(dòng)“數(shù)字中國石油”建設(shè)。公司已持續(xù)為中國石油集團(tuán)、下屬專業(yè)公司、地區(qū)公司、海外公司提供了油氣行業(yè)數(shù)字化轉(zhuǎn)型專業(yè)服務(wù)；為國資委、中央企業(yè)提供了國資監(jiān)管、黨建等產(chǎn)品和服務(wù)；為海外 NOC 客戶提供了 ERP 咨詢、智慧油田、智慧管道等專業(yè)服務(wù)。

作者：袁文飛

在工業(yè) 4.0 與智能制造持續(xù)推進(jìn)的背景下，工業(yè)現(xiàn)場(chǎng)正以前所未有的速度產(chǎn)生海量時(shí)序數(shù)據(jù)。對(duì)于擁有大量 CNC 機(jī)床、機(jī)器人及各類工業(yè)傳感器的制造場(chǎng)景來說，如何高效完成數(shù)據(jù)采集、寫入、存儲(chǔ)、分析與實(shí)時(shí)應(yīng)用，已經(jīng)成為數(shù)字化升級(jí)中的關(guān)鍵問題。發(fā)那科在推進(jìn)新一代工廠物聯(lián)網(wǎng)平臺(tái)建設(shè)過程中，面臨高并發(fā)寫入、歷史數(shù)據(jù)存儲(chǔ)成本、實(shí)時(shí)分析延遲和系統(tǒng)運(yùn)維復(fù)雜等多重挑戰(zhàn)。為應(yīng)對(duì)這些問題，其平臺(tái)引入了 TDengine 時(shí)序數(shù)據(jù)庫，作為設(shè)備數(shù)據(jù)底座，支撐設(shè)備狀態(tài)透明化、工藝優(yōu)化和預(yù)測(cè)性維護(hù)等業(yè)務(wù)場(chǎng)景。

在我們的生產(chǎn)現(xiàn)場(chǎng)，海量設(shè)備數(shù)據(jù)并不只是“被記錄下來”的信息，而是貫穿設(shè)備運(yùn)行、工藝執(zhí)行、質(zhì)量控制與生產(chǎn)管理全過程的關(guān)鍵資產(chǎn)。隨著 CNC 機(jī)床、機(jī)器人、AGV 以及多類工業(yè)傳感器的全面接入，我們對(duì)底層數(shù)據(jù)平臺(tái)的能力提出了更高要求：既要扛住持續(xù)不斷的高頻寫入，也要讓數(shù)據(jù)能夠被實(shí)時(shí)看見、及時(shí)分析、快速調(diào)用。

正是在這樣的背景下，我們將 TDengine 時(shí)序數(shù)據(jù)庫（Time Series Database）引入到新一代工廠物聯(lián)網(wǎng)平臺(tái)中，希望構(gòu)建一個(gè)面向工業(yè)場(chǎng)景的高性能時(shí)序數(shù)據(jù)底座，更好支撐設(shè)備監(jiān)控、生產(chǎn)優(yōu)化與智能運(yùn)維。

背景與痛點(diǎn)

我們圍繞 CNC 全面解決方案，持續(xù)推進(jìn)機(jī)加工場(chǎng)景的數(shù)字化能力建設(shè)。該方案源自 FANUC 在全球機(jī)床業(yè)、加工工業(yè)、工廠自動(dòng)化產(chǎn)業(yè)的長期實(shí)踐經(jīng)驗(yàn)，植根于中國 10 萬家工業(yè)客戶制造現(xiàn)場(chǎng)，立足行業(yè) 30 余年，逐步形成了貫穿機(jī)加工全流程、涵蓋機(jī)加工全技術(shù)要素、適用于各種機(jī)加工全產(chǎn)業(yè)場(chǎng)景的全面解決方案。我們希望通過數(shù)控技術(shù)、機(jī)加工藝、精益制造、自動(dòng)化、數(shù)字化等能力，持續(xù)幫助先進(jìn)制造伙伴提升生產(chǎn)力。

在這一方案中，我們建設(shè)的是一個(gè)高度自動(dòng)化的示范產(chǎn)線，內(nèi)部部署了數(shù)百臺(tái)自產(chǎn) CNC 加工中心、協(xié)作機(jī)器人、AGV，以及大量視覺傳感器、力覺傳感器和振動(dòng)傳感器。隨著設(shè)備持續(xù)運(yùn)行，現(xiàn)場(chǎng)每時(shí)每刻都在產(chǎn)生大量時(shí)序數(shù)據(jù)，主要包括以下幾類：

• 設(shè)備狀態(tài)數(shù)據(jù)：包括 CNC 的主軸轉(zhuǎn)速、負(fù)載電流、各軸位置、報(bào)警代碼，以及機(jī)器人的關(guān)節(jié)角度、扭矩、末端位姿、碰撞信號(hào)
• 工藝參數(shù)數(shù)據(jù)：包括加工件的 G 代碼執(zhí)行進(jìn)度、切削進(jìn)給率、刀具壽命計(jì)數(shù)；
• 傳感監(jiān)控?cái)?shù)據(jù)：包括關(guān)鍵部件的振動(dòng)頻譜、溫度、壓力、能耗；
• 生產(chǎn)管理數(shù)據(jù)：工件 ID、加工開始/結(jié)束時(shí)間、良品/不良品標(biāo)記。

隨著數(shù)據(jù)規(guī)模不斷增長，我們也越來越明顯地感受到傳統(tǒng)方案的局限。具體來說主要包含以下幾點(diǎn)核心痛點(diǎn)：

1. 數(shù)據(jù)寫入與存儲(chǔ)壓力：高峰期每秒需處理超過 50 萬數(shù)據(jù)點(diǎn)的寫入，原有方案經(jīng)常因?qū)懭胪掏虏蛔銓?dǎo)致數(shù)據(jù)堆積和丟失。原始數(shù)據(jù)膨脹迅速，存儲(chǔ)成本成為沉重負(fù)擔(dān)。
2. 實(shí)時(shí)分析與監(jiān)控延遲：生產(chǎn)經(jīng)理和工程師無法實(shí)時(shí)查看全廠設(shè)備 OEE、設(shè)備綜合狀態(tài)?；?Hadoop 生態(tài)的離線分析，從數(shù)據(jù)產(chǎn)生到生成報(bào)表通常有數(shù)小時(shí)延遲，這種時(shí)效性顯然無法支持實(shí)時(shí)告警和快速?zèng)Q策。
3. 復(fù)雜查詢性能低下：進(jìn)行跨設(shè)備、跨時(shí)間段的統(tǒng)計(jì)分析（例如“過去 24 小時(shí)所有同型號(hào) CNC 主軸平均負(fù)載對(duì)比”）或鉆取查詢（例如“追溯某個(gè)不良品生產(chǎn)過程中所有傳感器數(shù)據(jù)”）耗時(shí)極長，嚴(yán)重制約了工藝優(yōu)化和根因分析的效率。
4. 運(yùn)維復(fù)雜性高：原有架構(gòu)由多種數(shù)據(jù)庫、消息隊(duì)列和計(jì)算引擎集成而成，系統(tǒng)復(fù)雜，運(yùn)維團(tuán)隊(duì)需要掌握多種技術(shù)棧，故障排查困難。

為了解決上述問題，我們需要尋找一個(gè)能夠一站式解決海量時(shí)序數(shù)據(jù)高效寫入、高壓縮存儲(chǔ)、閃電查詢的專用數(shù)據(jù)庫，從而簡化架構(gòu)、降低成本，并釋放數(shù)據(jù)的實(shí)時(shí)價(jià)值，這也是我們選擇 TDengine TSDB 的出發(fā)點(diǎn)。

實(shí)際使用效果

平臺(tái)架構(gòu)

在落地過程中，我們圍繞“采集—傳輸—寫入—服務(wù)—應(yīng)用”構(gòu)建了完整鏈路。架構(gòu)說明如下：

• 數(shù)據(jù)采集：通過 FOCAS、機(jī)器人 API 以及標(biāo)準(zhǔn)工業(yè)協(xié)議，從邊緣設(shè)備實(shí)時(shí)采集數(shù)據(jù)。
• 數(shù)據(jù)傳輸：使用 MQTT 協(xié)議，實(shí)現(xiàn)海量設(shè)備數(shù)據(jù)的低功耗、高可靠上行。
• 數(shù)據(jù)寫入與存儲(chǔ)：數(shù)據(jù)攝取服務(wù)將消息隊(duì)列中的數(shù)據(jù)批量寫入 TDengine TSDB 集群，這是整個(gè)架構(gòu)的基石。
• 數(shù)據(jù)服務(wù)與應(yīng)用：TDengine TSDB 通過標(biāo)準(zhǔn) JDBC/ODBC/RESTful 接口向各種上層應(yīng)用提供高性能數(shù)據(jù)查詢服務(wù)。同時(shí)，利用其查詢功能、實(shí)時(shí)計(jì)算關(guān)鍵指標(biāo)并觸發(fā)告警。

數(shù)據(jù)模型設(shè)計(jì)

在數(shù)據(jù)模型設(shè)計(jì)上，我們采用了貼合 TDengine TSDB 最佳實(shí)踐的方式。

• 超級(jí)表 devices_st：定義了所有設(shè)備的標(biāo)簽和指標(biāo)。

CREATE STABLE devices_st (
    ts TIMESTAMP,  
    speed FLOAT,   
    temperature FLOAT, 
    vibration FLOAT,  
    status_code INT) TAGS (
    device_id NCHAR(64), 
    device_type NCHAR(32),
    model NCHAR(64),      
    workshop NCHAR(32),  
    production_line NCHAR(32) );

• 子表：每臺(tái)設(shè)備都會(huì)基于 devices_st 創(chuàng)建一張子表。

CREATE TABLE device_CNC_01 USING devices_st (device_id, device_type, model,workshop,production_line) TAGS ('CNC_01', 'cnc', 'FANUC Series 30i-B', 'A車間', 'Line1');

這種設(shè)計(jì)對(duì)應(yīng)的是“一張物理設(shè)備對(duì)應(yīng)一張 TDengine TSDB 子表”的思路：設(shè)備 ID、型號(hào)、位置等靜態(tài)屬性作為標(biāo)簽，實(shí)時(shí)采集的變化指標(biāo)作為數(shù)據(jù)字段。這樣既能保證單設(shè)備查詢效率，也便于按照標(biāo)簽進(jìn)行設(shè)備分組與聚合分析。

核心功能應(yīng)用細(xì)節(jié)

在寫入能力方面，我們部署了 3 節(jié)點(diǎn) TDengine TSDB 集群，每個(gè)節(jié)點(diǎn)配置為 16 核 64GB。該集群輕松承載了峰值超過 80 萬點(diǎn)/秒的寫入壓力，且 CPU 和內(nèi)存平均負(fù)載保持在 50% 以下。

在查詢能力方面，我們主要有幾類典型場(chǎng)景。

• 實(shí)時(shí)監(jiān)控：大屏查詢“所有設(shè)備當(dāng)前最新狀態(tài)”，涉及 5000+ 張表的 latest 查詢，響應(yīng)時(shí)間 < 1 秒。

SELECT last(*) FROM devices_st group by tbname;

• 聚合分析：分析 A 車間 Line1 產(chǎn)線過去 24 小時(shí)每臺(tái) CNC 的可開動(dòng)率，響應(yīng)時(shí)間 < 2 秒。

SELECT device_id, count(ts) as total_count, sum( case status_code when 1 then 1 when 0 then 0 end )/ count(*) as oee 
FROM devices_st 
WHERE device_type='cnc' AND workshop='A車間' AND production_line='Line1' 
AND ts >= now-24h 
partition BY device_id
INTERVAL(1h) ;

• 訂閱功能：用于實(shí)時(shí)告警。訂閱所有 status_code 為錯(cuò)誤碼的數(shù)據(jù)，一旦觸發(fā)，立即推送至告警中心，生成運(yùn)維工單。告警延遲從原來的 1-2 分鐘降低到毫秒級(jí)。

業(yè)務(wù)場(chǎng)景與業(yè)務(wù)價(jià)值

基于 TDengine TSDB 的落地，我們?cè)诙鄠€(gè)業(yè)務(wù)場(chǎng)景中獲得了直接收益。

• 實(shí)時(shí)參數(shù)展示：管理人員可快速查看每臺(tái)設(shè)備的多個(gè)實(shí)時(shí)參數(shù)，以下數(shù)據(jù)存儲(chǔ)于 TDengine TSDB。

• 設(shè)備運(yùn)行時(shí)間、利用率趨勢(shì)展示：可以更加便捷地從 TDengine TSDB 中查看每個(gè)設(shè)備不同運(yùn)行狀態(tài)的時(shí)間占比。其帶來的業(yè)務(wù)價(jià)值體現(xiàn)在三個(gè)方面：
  • 一目了然的產(chǎn)線健康度：管理者可快速識(shí)別利用率低的設(shè)備和時(shí)段；
  • 精準(zhǔn)的產(chǎn)能規(guī)劃依據(jù)：基于歷史趨勢(shì)預(yù)測(cè)未來產(chǎn)能，優(yōu)化排產(chǎn)計(jì)劃；
  • 停機(jī)根因分析入口：點(diǎn)擊任意“停機(jī)”時(shí)段，可鉆取查看具體報(bào)警日志和工藝參數(shù)，快速定位問題。

• 設(shè)備高級(jí)參數(shù)分析：加工設(shè)備的刀具效率、節(jié)拍分析與關(guān)鍵參數(shù)趨勢(shì)監(jiān)控頁面，數(shù)據(jù)來源于 TDengine TSDB 的實(shí)時(shí)時(shí)序數(shù)據(jù)查詢與窗口聚合計(jì)算。業(yè)務(wù)價(jià)值體現(xiàn)在：
  • 幫助工藝人員快速判斷刀具是否異常磨損、加工節(jié)拍是否波動(dòng)，可用于后續(xù)預(yù)測(cè)性維護(hù)模型的數(shù)據(jù)基礎(chǔ)；
  • 通過實(shí)時(shí)趨勢(shì)監(jiān)控，可提前發(fā)現(xiàn)設(shè)備異常，如過熱、卡滯、刀具磨損；
  • 支持按秒級(jí)精度查看原始數(shù)據(jù)，適合深度分析工藝問題與異常加工事件。

• 工藝參數(shù)優(yōu)化與追溯：借助 TDengine TSDB 的高效查詢特點(diǎn)，我們可以輕松查詢過去任意時(shí)間段的數(shù)據(jù)，查詢響應(yīng)也很及時(shí)。

圍繞這一能力，關(guān)鍵收益如下：

• 實(shí)時(shí)監(jiān)控能力增強(qiáng)：秒級(jí)刷新、不丟數(shù)據(jù)；
• 工藝優(yōu)化依據(jù)：結(jié)合倍率穩(wěn)定度判斷加工策略是否合理；
• 歷史追溯強(qiáng)：可查看任意時(shí)段趨勢(shì)，用于工件質(zhì)量問題分析；
• 高性能支持：單設(shè)備百萬級(jí)數(shù)據(jù)量也能流暢展示。

相較原有方案，整體服務(wù)器資源成本降低了 60%，實(shí)時(shí)數(shù)據(jù)查詢響應(yīng)時(shí)間從分鐘級(jí)優(yōu)化至毫秒級(jí)，全廠設(shè)備健康狀態(tài)的全局儀表盤刷新延遲顯著降低，同時(shí)預(yù)測(cè)性維護(hù)模型的準(zhǔn)確率提升了 25%，有效避免了非計(jì)劃停機(jī)。

未來規(guī)劃

TDengine TSDB 在發(fā)那科的成功應(yīng)用，證明了其在工業(yè)物聯(lián)網(wǎng)海量時(shí)序數(shù)據(jù)處理上的卓越能力。未來我們計(jì)劃深化應(yīng)用： 一方面，我們希望進(jìn)一步探索利用 TDengine TSDB 的時(shí)序數(shù)據(jù)特征提取能力，直接在數(shù)據(jù)庫層面為 AI 模型提供高質(zhì)量特征數(shù)據(jù)，進(jìn)一步簡化處理流程。另一方面，我們也會(huì)持續(xù)關(guān)注 TDengine TSDB 與主流工業(yè)互聯(lián)網(wǎng)平臺(tái)、低代碼工具以及 BI 軟件的生態(tài)集成，構(gòu)建更開放、更易用的智能制造數(shù)據(jù)分析套件。

我們相信，TDengine TSDB 持續(xù)作為數(shù)字化戰(zhàn)略中堅(jiān)實(shí)的數(shù)據(jù)基座，為制造業(yè)向智能化、數(shù)據(jù)驅(qū)動(dòng)方向深化發(fā)展提供有力支撐。

關(guān)于北京發(fā)那科

北京發(fā)那科作為中國數(shù)控及工廠自動(dòng)化領(lǐng)域的專業(yè)品牌，見證并深度參與了中國制造業(yè)蓬勃發(fā)展的 30 年，始終致力于 FANUC 全球領(lǐng)先的數(shù)控系統(tǒng)及工廠自動(dòng)化產(chǎn)品及技術(shù)在中國的推廣應(yīng)用。產(chǎn)品與服務(wù)覆蓋了汽車、通訊、電子、新能源、智能制造等先進(jìn)制造各領(lǐng)域，已有超 160 萬臺(tái)產(chǎn)品應(yīng)用于 10 萬多家各行業(yè)企業(yè)，助力中國先進(jìn)制造業(yè)的轉(zhuǎn)型升級(jí)。其始終堅(jiān)持切實(shí)創(chuàng)新和持續(xù)管理變革，以“成為智能制造價(jià)值型最佳伙伴”為愿景，以前瞻的行業(yè)洞察視角、有效的創(chuàng)新方法論、全價(jià)值鏈的解決方案、專業(yè)的人才梯隊(duì)，長期陪伴客戶一起成長。

作者：苗鵬、陳群建

轉(zhuǎn)型驅(qū)動(dòng)：橋科院為何選擇 TDengine TSDB

隨著“橋梁智能與綠色建造全國重點(diǎn)實(shí)驗(yàn)室”的技術(shù)推進(jìn)，橋科院的業(yè)務(wù)數(shù)字化程度不斷加深，數(shù)據(jù)環(huán)境呈現(xiàn)出典型的物聯(lián)網(wǎng)特征，我們也面臨著以下的核心挑戰(zhàn)：

1. 海量時(shí)序數(shù)據(jù)處理瓶頸：橋梁健康監(jiān)測(cè)系統(tǒng)需要在橋梁關(guān)鍵部位部署數(shù)百個(gè)傳感器（如應(yīng)變、位移、振動(dòng)、溫濕度傳感器），以每秒數(shù) Hz 的頻率持續(xù)采集數(shù)據(jù)。傳統(tǒng)關(guān)系型數(shù)據(jù)庫（如 MySQL）難以承受這種高并發(fā)、持續(xù)的數(shù)據(jù)寫入壓力，且存儲(chǔ)成本急劇上升。
2. 實(shí)時(shí)分析與預(yù)警延遲：對(duì)橋梁狀態(tài)的判斷需要基于實(shí)時(shí)數(shù)據(jù)進(jìn)行毫秒級(jí)到秒級(jí)的計(jì)算分析，以便在異常情況（如超限振動(dòng)）發(fā)生時(shí)立即告警。傳統(tǒng)數(shù)據(jù)庫復(fù)雜的查詢語句無法滿足低延遲的實(shí)時(shí)分析需求，導(dǎo)致預(yù)警滯后。
3. 多項(xiàng)目、多維度數(shù)據(jù)分析困難：橋科院同時(shí)管理多個(gè)橋梁項(xiàng)目，每個(gè)項(xiàng)目的數(shù)據(jù)結(jié)構(gòu)相似但標(biāo)簽（如橋梁名稱、傳感器位置）不同。傳統(tǒng)方式需要為每座橋創(chuàng)建大量獨(dú)立的數(shù)據(jù)表，難以進(jìn)行跨項(xiàng)目的統(tǒng)一分析和宏觀態(tài)勢(shì)研判。

選型決策：經(jīng)過對(duì)多種時(shí)序數(shù)據(jù)庫的對(duì)比測(cè)試，我們最終選擇了 TDengine TSDB。其超高性能的數(shù)據(jù)寫入/查詢效率、極具創(chuàng)新的超級(jí)表數(shù)據(jù)模型以及極低的學(xué)習(xí)和運(yùn)維成本，完美契合了橋梁工程領(lǐng)域?qū)r(shí)序數(shù)據(jù)管理的苛刻要求。

應(yīng)用成效： TDengine TSDB 帶來的核心收益

引入 TDengine 時(shí)序數(shù)據(jù)庫后，我們構(gòu)建了統(tǒng)一的橋梁數(shù)字化平臺(tái)底座，獲得了顯著收益，主要提現(xiàn)在以下四個(gè)方面：

• 性能提升：數(shù)據(jù)寫入速度提升數(shù)十倍，輕松應(yīng)對(duì)每秒數(shù)十萬數(shù)據(jù)點(diǎn)的涌入；復(fù)雜查詢響應(yīng)時(shí)間從分鐘級(jí)降至秒級(jí)，實(shí)現(xiàn)了真正的實(shí)時(shí)數(shù)據(jù)分析。
• 成本降低： TDengine TSDB 的高效壓縮技術(shù)將原始數(shù)據(jù)存儲(chǔ)空間降低了 80% 以上，大幅降低了長期數(shù)據(jù)存儲(chǔ)的成本。
• 運(yùn)維簡化：得益于簡潔的超級(jí)表模型和標(biāo)準(zhǔn) SQL 語法，數(shù)據(jù)模型的設(shè)計(jì)和日常運(yùn)維工作變得異常簡單，開發(fā)效率顯著提升。
• 決策增強(qiáng)：基于 TDengine TSDB 的實(shí)時(shí)數(shù)據(jù)能力，我們能夠?yàn)闃I(yè)主提供從“施工監(jiān)控”到“運(yùn)營管養(yǎng)”的全生命周期數(shù)字化服務(wù)，增強(qiáng)了核心競(jìng)爭(zhēng)力。

核心業(yè)務(wù)場(chǎng)景與 TDengine TSDB 實(shí)踐

以下展示的是典型業(yè)務(wù)場(chǎng)景的技術(shù)實(shí)現(xiàn)。

場(chǎng)景一：通過重載鐵路橋的主梁動(dòng)撓度、主梁跨中頂板動(dòng)態(tài)應(yīng)力監(jiān)測(cè)數(shù)據(jù)，判斷橋上過車速度、過車重量

• 建表語句：

-- 創(chuàng)建傳感器數(shù)據(jù)超級(jí)表
CREATE STABLE IF NOT EXISTS bridge_sensor_data (
    ts TIMESTAMP,
    strain_value DOUBLE,  -- 應(yīng)變值/撓度值
    stress_value DOUBLE,  -- 應(yīng)力值
    temperature DOUBLE,   -- 溫度（用于補(bǔ)償）
    vibration DOUBLE      -- 振動(dòng)數(shù)據(jù)
) TAGS (
    sensor_id NCHAR(32),      -- 傳感器ID
    sensor_type NCHAR(20),    -- 傳感器類型: strain/stress/vibration
    bridge_id NCHAR(32),      -- 橋梁ID
    location NCHAR(20),       -- 安裝位置: mid_span/support等
    lane_number TINYINT       -- 車道編號(hào)
);

• 查詢語句：

-- 檢測(cè)單個(gè)車輛通過速度和車重
SELECT 
  start_ts,
  end_ts,
  peak_strain,
  duration_seconds,  
  100/duration_seconds*3.6 as speed_kmh, -- 估算車速：橋梁長度/通過時(shí)間（假設(shè)橋梁長度100米）
  peak_strain*2.5 as estimated_weight_ton -- 估算車重：峰值應(yīng)變 × 標(biāo)定系數(shù)（需要現(xiàn)場(chǎng)標(biāo)定）
FROM (
  SELECT 
    FIRST(ts) as start_ts,
    LAST(ts) as end_ts,
    MAX(strain_value) - MIN(strain_value) as peak_strain,
    COUNT(*) as data_points,
    (cast(LAST(ts) as bigint) - cast(FIRST(ts) as bigint))/1e9 as duration_seconds
  FROM bridge_sensor_data 
  WHERE bridge_id = 'bridge_001' 
    AND location = 'mid_span'
    AND sensor_type = 'strain'
    AND ts >= '2024-01-01 00:00:00' 
    AND ts <= '2024-01-01 23:59:59'
  INTERVAL(30s)             -- 按30秒時(shí)間窗口分組
  HAVING MAX(strain_value) - MIN(strain_value) > 10   -- 過濾掉噪聲，閾值可根據(jù)實(shí)際情況調(diào)整
);

在重載鐵路橋梁監(jiān)測(cè)場(chǎng)景中，傳統(tǒng)關(guān)系型數(shù)據(jù)庫難以在毫秒級(jí)內(nèi)處理大量動(dòng)態(tài)響應(yīng)數(shù)據(jù)，導(dǎo)致車輛通過速度、重量等關(guān)鍵指標(biāo)計(jì)算延遲嚴(yán)重。TDengine TSDB 的時(shí)序數(shù)據(jù)模型通過“超級(jí)表”結(jié)構(gòu)，實(shí)現(xiàn)了巨量傳感器數(shù)據(jù)點(diǎn)的高效聚合與實(shí)時(shí)關(guān)聯(lián)。在計(jì)算車輛通過時(shí)間與重量時(shí)，其原生時(shí)間窗口聚合能力與流式計(jì)算特性，將原本分鐘級(jí)的響應(yīng)延遲壓縮至毫秒級(jí)，同時(shí)利用高效壓縮算法，將動(dòng)輒每日 TB 級(jí)的振動(dòng)數(shù)據(jù)存儲(chǔ)成本降低超過 80%，讓長期高頻監(jiān)測(cè)與秒級(jí)報(bào)警成為現(xiàn)實(shí)。

場(chǎng)景二：通過橋梁風(fēng)速儀、振動(dòng)、撓度數(shù)據(jù)，每 30 秒計(jì)算前 10 分鐘最大風(fēng)力系數(shù)、各方向紊流強(qiáng)度，判斷橋梁產(chǎn)生渦振的報(bào)警值

• 建表語句：

-- 橋梁基本信息表
CREATE STABLE bridges (
  ts TIMESTAMP,
  wind_speed FLOAT,           -- 風(fēng)速(m/s)
  wind_direction FLOAT,       -- 風(fēng)向(度)
  vibration_x FLOAT,          -- X方向振動(dòng)加速度(m/s2)
  vibration_y FLOAT,          -- Y方向振動(dòng)加速度(m/s2)  
  vibration_z FLOAT,          -- Z方向振動(dòng)加速度(m/s2)
  deflection FLOAT,           -- 撓度(mm)
  temperature FLOAT,          -- 溫度(℃)
  humidity FLOAT              -- 濕度(%)
) TAGS (
  bridge_id NCHAR(20),        -- 橋梁ID
  sensor_id NCHAR(20),        -- 傳感器ID
  sensor_type NCHAR(20),      -- 傳感器類型: wind/vibration/deflection
  location NCHAR(50)          -- 安裝位置: mid_span/side_span/tower etc.
);

• 查詢語句：

SELECT 
  calc_ts as 時(shí)間,
  avg_wind_speed as 平均風(fēng)速,
  max_wind_coefficient as 最大風(fēng)力系數(shù),
  turbulence_intensity as 紊流強(qiáng)度,
  vertical_vibration as 豎向振動(dòng),
  peak_vibration_amplitude as 峰值振幅,
  alert_level as 報(bào)警等級(jí),
  vortex_intensity_index as 渦振強(qiáng)度指數(shù),
  -- 實(shí)時(shí)報(bào)警判斷
  CASE 
     WHEN vortex_intensity_index > 5 THEN '嚴(yán)重渦振報(bào)警'
    WHEN vortex_intensity_index > 3 THEN '中度渦振報(bào)警' 
    WHEN vortex_intensity_index > 1 THEN '輕微渦振注意'
    ELSE '正常'
  END as 實(shí)時(shí)報(bào)警信息
FROM (
SELECT
    w.calc_ts,
    w.avg_wind_speed,
    w.max_wind_coefficient,
    w.turbulence_intensity,
    v.rms_vibration_y as vertical_vibration,
    v.peak_vibration_amplitude,
    -- 渦振發(fā)生條件判斷
    CASE 
      WHEN w.avg_wind_speed BETWEEN 5 AND 15        -- 渦振易發(fā)風(fēng)速區(qū)間
       AND w.turbulence_intensity < 0.2            -- 低紊流條件
       AND v.peak_vibration_amplitude > 0.5        -- 振動(dòng)幅值閾值
       AND v.rms_vibration_y > 0.1                 -- 豎向振動(dòng)RMS閾值
      THEN 'HIGH_ALERT'
      WHEN w.avg_wind_speed BETWEEN 3 AND 20
       AND w.turbulence_intensity < 0.3
       AND v.peak_vibration_amplitude > 0.3
       AND v.rms_vibration_y > 0.05
      THEN 'MEDIUM_ALERT'
      ELSE 'NORMAL'
    END as alert_level,
    -- 渦振強(qiáng)度指數(shù) (自定義計(jì)算公式)
    (v.peak_vibration_amplitude * w.avg_wind_speed * (1 - w.turbulence_intensity)) as vortex_intensity_index
  FROM
(
-- 計(jì)算10分鐘窗口的風(fēng)力參數(shù)
SELECT 
    _wstart as calc_ts,
    AVG(wind_speed) as avg_wind_speed,
    MAX(wind_speed) as max_wind_speed,
    STDDEV(wind_speed) as wind_stddev,
    AVG(wind_direction) as avg_direction,
    -- 紊流強(qiáng)度 = 標(biāo)準(zhǔn)差/平均值
    STDDEV(wind_speed) / AVG(wind_speed) as turbulence_intensity,
    -- 計(jì)算10分鐘最大風(fēng)力系數(shù) 
    MAX(wind_speed) * 0.6 as max_wind_coefficient
  FROM bridges
  WHERE bridge_id = 'bridge_001' 
    AND sensor_type = 'wind'
    AND ts >= NOW - 10m
  INTERVAL(30s)  -- 每30秒計(jì)算一次前10分鐘數(shù)據(jù)
) w 
join 
(-- 計(jì)算振動(dòng)參數(shù)
SELECT
    _wstart as calc_ts,
    SQRT(AVG(vibration_x * vibration_x)) as rms_vibration_x,
    SQRT(AVG(vibration_y * vibration_y)) as rms_vibration_y, 
    SQRT(AVG(vibration_z * vibration_z)) as rms_vibration_z,
    -- 主梁渦振特征頻率(假設(shè)橋梁固有頻率0.5-1.5Hz)
    MAX(ABS(vibration_y)) as peak_vibration_amplitude
  FROM bridges
  WHERE bridge_id = 'bridge_001'
    AND sensor_type = 'vibration'
    AND location = 'mid_span'
    AND ts >= NOW - 10m
  INTERVAL(30s)) v ON w.calc_ts = v.calc_ts WHERE w.avg_wind_speed > 2  -- 忽略無風(fēng)情況
)
WHERE alert_level != 'NORMAL' ORDER BY calc_ts DESC;

橋梁渦振監(jiān)測(cè)對(duì)數(shù)據(jù)的時(shí)效性、多維度關(guān)聯(lián)性要求極高，傳統(tǒng)架構(gòu)下風(fēng)速、振動(dòng)、撓度數(shù)據(jù)分散存儲(chǔ)，跨表關(guān)聯(lián)分析效率低下，渦振預(yù)警常滯后數(shù)分鐘。TDengine TSDB 憑借其原生多表聚合 JOIN 優(yōu)化，實(shí)現(xiàn)了風(fēng)速、振動(dòng)等多維度數(shù)據(jù)的秒級(jí)同步關(guān)聯(lián)分析。通過自定義時(shí)間窗口實(shí)時(shí)計(jì)算風(fēng)力系數(shù)、紊流強(qiáng)度與振動(dòng)幅值，系統(tǒng)能在 30 秒內(nèi)完成一次前 10 分鐘的全維度風(fēng)振評(píng)估，真正實(shí)現(xiàn)了從“事后分析”到“事中預(yù)警”的跨越，為橋梁在惡劣風(fēng)場(chǎng)中的安全運(yùn)營提供了“數(shù)字屏障”。

場(chǎng)景三：橋梁施工過程關(guān)鍵參數(shù)監(jiān)控，此場(chǎng)景用于在橋梁建造過程中對(duì)索力、應(yīng)力、標(biāo)高等進(jìn)行實(shí)時(shí)監(jiān)控，確保施工精度與安全。

• 建表語句：

CREATE STABLE IF NOT EXISTS construction_monitoring (
    ts TIMESTAMP,
    cable_force FLOAT, -- 索力（kN）
    stress FLOAT,      -- 應(yīng)力（MPa）
    elevation FLOAT    -- 標(biāo)高（m）
) TAGS (
    project_name NCHAR(50), -- 項(xiàng)目名稱：如‘深中通道S08標(biāo)’（標(biāo)簽）
    monitoring_section NCHAR(50) -- 監(jiān)控?cái)嗝妫喝纭瓸12號(hào)墩’（標(biāo)簽）
);

• 查詢語句：

# 查詢‘深中通道S08標(biāo)’項(xiàng)目下，所有監(jiān)控?cái)嗝嬖诋?dāng)前時(shí)刻的平均索力，用于指導(dǎo)施工
SELECT
    monitoring_section,LAST(cable_force) as current_cable_force
FROM construction_monitoring
WHERE project_name = '深中通道S08標(biāo)' GROUP BY monitoring_section;

在橋梁建造過程中，索力、應(yīng)力、標(biāo)高等參數(shù)需 24 小時(shí)連續(xù)監(jiān)測(cè)，傳統(tǒng)數(shù)據(jù)庫在海量實(shí)時(shí)寫入壓力下容易成為系統(tǒng)瓶頸。TDengine TSDB 針對(duì)時(shí)序數(shù)據(jù)寫入進(jìn)行了深度優(yōu)化，單節(jié)點(diǎn)即可支持每秒百萬級(jí)數(shù)據(jù)點(diǎn)的穩(wěn)定寫入。其超級(jí)表模型通過標(biāo)簽（Tag）區(qū)分不同項(xiàng)目與監(jiān)測(cè)斷面，在保持?jǐn)?shù)據(jù)統(tǒng)一存儲(chǔ)的同時(shí)，實(shí)現(xiàn)了毫秒級(jí)的多斷面并發(fā)查詢。施工團(tuán)隊(duì)可隨時(shí)調(diào)取任意斷面最新索力數(shù)據(jù)，指導(dǎo)作業(yè)，將施工監(jiān)控從“定期巡查”升級(jí)為“實(shí)時(shí)閉環(huán)”，有效保障了大跨度橋梁施工的毫米級(jí)精度與全過程安全。

場(chǎng)景四：橋梁建筑材料性能試驗(yàn)數(shù)據(jù)分析，此場(chǎng)景用于存儲(chǔ)和分析大量混凝土、鋼材等材料的力學(xué)性能試驗(yàn)數(shù)據(jù)。

• 建表語句：

CREATE STABLE IF NOT EXISTS material_testing (
    ts TIMESTAMP,
    load FLOAT,    -- 荷載（kN）
    displacement FLOAT -- 位移（mm）
) TAGS (
    material_type NCHAR(20), -- 材料類型：如‘C60混凝土’（標(biāo)簽）
    sample_id NCHAR(20),     -- 試件編號(hào)
    test_type NCHAR(20)      -- 試驗(yàn)類型：如‘抗壓’，‘抗彎’
);

• 查詢語句：

# 統(tǒng)計(jì)分析某批次C60混凝土試件的抗壓強(qiáng)度（通過最大荷載計(jì)算）
SELECT
    sample_id,MAX(load) as max_load
    FROM material_testing
WHERE material_type = 'C60混凝土' AND test_type = '抗壓' GROUP BY sample_id;

材料試驗(yàn)數(shù)據(jù)具有典型的時(shí)序特征，但傳統(tǒng)分析方式往往依賴批處理與離線報(bào)表，無法實(shí)時(shí)反饋材料性能趨勢(shì)。TDengine TSDB 的靈活時(shí)間窗口聚合與標(biāo)準(zhǔn) SQL 支持，使得我們的研發(fā)人員可直接在數(shù)據(jù)庫中完成試驗(yàn)曲線的特征提取與統(tǒng)計(jì)分析。其內(nèi)置的高效壓縮與降采樣功能，使得長期保存大量高密度試驗(yàn)數(shù)據(jù)（如混凝土應(yīng)力-應(yīng)變?nèi)€）在經(jīng)濟(jì)上成為可能。TB 級(jí)歷史試驗(yàn)數(shù)據(jù)的關(guān)鍵指標(biāo)查詢?nèi)钥杀３衷诿爰?jí)響應(yīng)，為材料配比優(yōu)化、耐久性研究提供了高效的“數(shù)據(jù)實(shí)驗(yàn)室”，加速了新型建材的研發(fā)與應(yīng)用驗(yàn)證。

結(jié)語

TDengine TSDB 作為橋科院數(shù)字化轉(zhuǎn)型的核心數(shù)據(jù)引擎，成功地將物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)處理能力深度融入到橋梁的科研、建造和管養(yǎng)全鏈條中。它不僅解決了海量數(shù)據(jù)帶來的技術(shù)挑戰(zhàn)，更賦能橋科院持續(xù)引領(lǐng)中國橋梁技術(shù)向智能化、綠色化方向邁進(jìn)。

關(guān)于橋科院

中鐵大橋科學(xué)研究院有限公司是中國唯一以橋梁科研為主業(yè)的國家級(jí)高新技術(shù)企業(yè)，致力于橋梁智能與綠色建造前沿技術(shù)研究。公司集科學(xué)研究、試驗(yàn)檢測(cè)、監(jiān)理咨詢、產(chǎn)品產(chǎn)業(yè)于一體，管理著遍布全國的眾多大型橋梁工程項(xiàng)目，業(yè)務(wù)涵蓋橋梁健康監(jiān)測(cè)、施工監(jiān)控、材料檢測(cè)等多個(gè)高數(shù)據(jù)產(chǎn)生場(chǎng)景。

作者：李鈞

在智能油田建設(shè)過程中，我們?cè)絹碓角宄馗惺艿?，?shù)據(jù)平臺(tái)能力已經(jīng)不只是一個(gè)底層技術(shù)問題，而是直接影響生產(chǎn)指揮效率、設(shè)備維護(hù)模式和經(jīng)營分析深度的關(guān)鍵基礎(chǔ)設(shè)施。隨著生產(chǎn)現(xiàn)場(chǎng)設(shè)備接入越來越多、采樣頻率不斷提升，傳統(tǒng)架構(gòu)已經(jīng)難以同時(shí)滿足高吞吐寫入、低成本存儲(chǔ)、低延遲查詢和國產(chǎn)化替代等要求。

因此，我們開始重新審視時(shí)序數(shù)據(jù)平臺(tái)的技術(shù)路線，希望構(gòu)建一套能夠真正適配油田業(yè)務(wù)場(chǎng)景的數(shù)據(jù)底座，更穩(wěn)定地支撐生產(chǎn)實(shí)時(shí)感知、異常預(yù)警、設(shè)備預(yù)測(cè)性維護(hù)以及經(jīng)營分析等核心業(yè)務(wù)。

業(yè)務(wù)場(chǎng)景和挑戰(zhàn)

從具體業(yè)務(wù)看，我們的需求主要集中在以下三個(gè)場(chǎng)景：

• 生產(chǎn)指揮系統(tǒng)：需要實(shí)時(shí)匯集全油田油水井的生產(chǎn)數(shù)據(jù)，包括壓力、溫度、流量、含水率等多類參數(shù)，每 5 秒采集一次，日均數(shù)據(jù)量達(dá) 20 億條。系統(tǒng)需實(shí)現(xiàn)生產(chǎn)態(tài)勢(shì)實(shí)時(shí)感知、異常預(yù)警智能推送、應(yīng)急指揮快速響應(yīng)。
• 機(jī)采管控系統(tǒng)：管理抽油機(jī)、螺桿泵等采油設(shè)備。每臺(tái)設(shè)備配備多個(gè)傳感器，實(shí)時(shí)監(jiān)控電機(jī)電流、功率、沖次、載荷等關(guān)鍵參數(shù)，通過振動(dòng)分析預(yù)測(cè)機(jī)械故障，實(shí)現(xiàn)從“定期檢修”到“預(yù)測(cè)性維護(hù)”的轉(zhuǎn)變。
• 集團(tuán)生產(chǎn)經(jīng)營平臺(tái)：整合生產(chǎn)、運(yùn)輸、銷售、庫存全鏈條數(shù)據(jù)，提供產(chǎn)量分析、成本核算、效益評(píng)估等綜合看板。需要對(duì)接多個(gè)異構(gòu)系統(tǒng)，處理結(jié)構(gòu)化與非結(jié)構(gòu)化混合數(shù)據(jù)，支撐管理層戰(zhàn)略決策。

隨著物聯(lián)網(wǎng)設(shè)備的大規(guī)模部署和采樣頻率的提升，系統(tǒng)日均產(chǎn)生的時(shí)序數(shù)據(jù)量已突破 50 億條，傳統(tǒng)的“關(guān)系數(shù)據(jù)庫 + 緩存”架構(gòu)在寫入性能、存儲(chǔ)成本、查詢效率和運(yùn)維復(fù)雜度等方面面臨嚴(yán)峻挑戰(zhàn)。具體痛點(diǎn)表現(xiàn)在：

1. 數(shù)據(jù)洪峰沖擊：系統(tǒng)每日產(chǎn)生超上億條數(shù)據(jù)，傳統(tǒng)分庫分表方案難以應(yīng)對(duì)寫入峰值，經(jīng)常出現(xiàn)數(shù)據(jù)堆積、延遲入庫現(xiàn)象。
2. 存儲(chǔ)成本失控：原始數(shù)據(jù)年增長量達(dá)到 50TB，并且仍以每年 30% 的速度增長，如果繼續(xù)沿用傳統(tǒng)數(shù)據(jù)庫體系，存儲(chǔ)成本壓力會(huì)越來越大。
3. 實(shí)時(shí)分析瓶頸：生產(chǎn)指揮中心需要同時(shí)監(jiān)控?cái)?shù)百口重點(diǎn)井的實(shí)時(shí)工況，原有系統(tǒng)在并發(fā)查詢時(shí)響應(yīng)時(shí)間超過 30 秒，嚴(yán)重影響決策時(shí)效性。
4. 信創(chuàng)替代緊迫性：根據(jù)國家信創(chuàng)戰(zhàn)略要求，2025 年底前必須完成核心數(shù)據(jù)庫的國產(chǎn)化替代，技術(shù)選型面臨性能與合規(guī)的雙重考驗(yàn)。

技術(shù)選型

面對(duì)時(shí)序數(shù)據(jù)管理的嚴(yán)峻挑戰(zhàn)，我們成立了專項(xiàng)技術(shù)選型團(tuán)隊(duì)，團(tuán)隊(duì)歷時(shí) 3 個(gè)月，對(duì)國內(nèi)外的時(shí)序數(shù)據(jù)庫解決方案進(jìn)行了全方位的評(píng)估。團(tuán)隊(duì)搭建了模擬測(cè)試環(huán)境，并使用真實(shí)生產(chǎn)數(shù)據(jù)樣本進(jìn)行基準(zhǔn)測(cè)試。測(cè)試結(jié)果顯示：

• TDengine TSDB 在數(shù)據(jù)寫入吞吐量方面表現(xiàn)最優(yōu)，單節(jié)點(diǎn)可達(dá) 150 萬條/秒，是其他產(chǎn)品的 3-5 倍
• 在相同數(shù)據(jù)量下，TDengine TSDB 的存儲(chǔ)空間占用僅為傳統(tǒng)方案的 1/8

• 時(shí)間范圍查詢響應(yīng)時(shí)間平均在 100 毫秒以內(nèi)，復(fù)雜聚合查詢?cè)?1 秒內(nèi)完成

在此基礎(chǔ)上，我們最終選擇 TDengine TSDB，主要原因包括以下幾個(gè)方面：

• 極致的性能表現(xiàn)：針對(duì)時(shí)序數(shù)據(jù)優(yōu)化的存儲(chǔ)引擎和計(jì)算引擎，在典型查詢場(chǎng)景下（時(shí)間范圍查詢 + 設(shè)備過濾 + 指標(biāo)聚合）性能超出預(yù)期。
• 完整的國產(chǎn)化生態(tài)：作為國產(chǎn)自主研發(fā)的時(shí)序數(shù)據(jù)庫，TDengine TSDB 已與華為鯤鵬、麒麟軟件、統(tǒng)信 UOS 等主流信創(chuàng)產(chǎn)品完成兼容互認(rèn)證，符合信創(chuàng)替代路線圖要求。
• 創(chuàng)新的架構(gòu)設(shè)計(jì)：獨(dú)特的“一個(gè)設(shè)備一張表”數(shù)據(jù)模型，完美契合“設(shè)備-測(cè)點(diǎn)”的數(shù)據(jù)特征，簡化了數(shù)據(jù)建模復(fù)雜度。
• 專業(yè)的技術(shù)支持：濤思數(shù)據(jù)提供 7×24 小時(shí)技術(shù)支持，展現(xiàn)了強(qiáng)大的本地化服務(wù)能力。
• 持續(xù)的產(chǎn)品進(jìn)化：TDengine TSDB 從 2.x 到 3.x 的版本升級(jí)路線清晰，特別是 3.x 增強(qiáng)了多級(jí)存儲(chǔ)功能、數(shù)據(jù)訂閱等重要功能，與未來長遠(yuǎn)規(guī)劃高度契合。

綜合以上因素，最終技術(shù)選型團(tuán)隊(duì)一致通過，確定使用 TDengine TSDB 作為時(shí)序數(shù)據(jù)平臺(tái)的核心引擎。

落地實(shí)踐

平臺(tái)架構(gòu)升級(jí)歷程

我們的 TDengine TSDB 應(yīng)用并不是一次性到位，而是經(jīng)歷了三個(gè)階段的逐步演進(jìn)：

在第一階段（2023 年 6 月之前），我們初期使用 TDengine TSDB 2.6 版本，部署了 3 節(jié)點(diǎn)集群，并改造數(shù)據(jù)接入層，讓數(shù)據(jù)直接寫入 TDengine TSDB。同時(shí)，我們搭建了 Grafana 監(jiān)控大屏，先完成技術(shù)可行性驗(yàn)證。

在第二階段（2023 年），我們進(jìn)入全面推廣期，升級(jí)至 TDengine TSDB 3.0 集群版，繼續(xù)采用 3 節(jié)點(diǎn)部署。業(yè)務(wù)系統(tǒng)開始對(duì)接 3.x 版本，主要功能沒有進(jìn)行大幅改動(dòng)，只對(duì)部分 SQL 使用方式進(jìn)行了調(diào)整，并完成歷史數(shù)據(jù)遷移。此后，生產(chǎn)指揮系統(tǒng)和注水管理系統(tǒng)接入統(tǒng)一時(shí)序數(shù)據(jù)平臺(tái)，實(shí)現(xiàn)多業(yè)務(wù)系統(tǒng)數(shù)據(jù)融合與統(tǒng)一查詢。

在第三階段（2024 年至今），我們進(jìn)一步升級(jí)到 TDengine TSDB 3.3，并重點(diǎn)驗(yàn)證其在油田場(chǎng)景中的關(guān)鍵能力：

• 集群高可用：模擬節(jié)點(diǎn)故障，驗(yàn)證數(shù)據(jù)零丟失和秒級(jí)故障切換。
• 多級(jí)存儲(chǔ)：測(cè)試熱溫冷數(shù)據(jù)分層存儲(chǔ)策略，驗(yàn)證存儲(chǔ)成本優(yōu)化效果。
• 數(shù)據(jù)訂閱：驗(yàn)證實(shí)時(shí)數(shù)據(jù)推送機(jī)制，滿足告警系統(tǒng)的低延遲要求。
• 生態(tài)兼容：驗(yàn)證與現(xiàn)有大數(shù)據(jù)平臺(tái)（Hadoop、Spark）、BI 工具（Grafana、帆軟）的集成能力，完成與集團(tuán)生產(chǎn)經(jīng)營平臺(tái)的深度集成。

核心業(yè)務(wù)系統(tǒng)深度集成

毫秒級(jí)實(shí)時(shí)響應(yīng)

在生產(chǎn)指揮中心大屏場(chǎng)景中，我們需要實(shí)時(shí)展示生產(chǎn)運(yùn)行態(tài)勢(shì)。依托 TDengine TSDB 的數(shù)據(jù)訂閱能力，系統(tǒng)實(shí)現(xiàn)了多個(gè)層面的改進(jìn)：

• 實(shí)時(shí)數(shù)據(jù)推送：利用CREATE TOPIC創(chuàng)建多個(gè)數(shù)據(jù)主題，分別對(duì)應(yīng)不同區(qū)域、不同井型的生產(chǎn)數(shù)據(jù)，訂閱端實(shí)現(xiàn)毫秒級(jí)數(shù)據(jù)接收。

• 智能告警引擎：基于SUBSCRIBE功能，實(shí)時(shí)監(jiān)控壓力異常、產(chǎn)量波動(dòng)等多個(gè)關(guān)鍵指標(biāo)，告警延遲從原來的分鐘級(jí)降低到秒級(jí)。
• 歷史回溯分析：可快速回溯任意時(shí)間點(diǎn)的生產(chǎn)狀態(tài)，為事故分析提供數(shù)據(jù)支撐。

在數(shù)據(jù)建模上，超級(jí)表標(biāo)簽中包含井號(hào)、區(qū)塊、井型、管理部門等維度，字段中則包含多個(gè)生產(chǎn)參數(shù)，以滿足業(yè)務(wù)檢索和分析需求。

預(yù)測(cè)性維護(hù)轉(zhuǎn)型

TDengine TSDB 的應(yīng)用也改變了我們的設(shè)備維護(hù)模式。以抽油機(jī)場(chǎng)景為例，每臺(tái)設(shè)備配備 8 個(gè)振動(dòng)傳感器，采樣頻率為 100Hz，平臺(tái)能夠承接這類高頻寫入數(shù)據(jù)；同時(shí)，我們通過 SQL 窗口函數(shù)計(jì)算每口井的噸液耗電，識(shí)別高能耗設(shè)備。

在存儲(chǔ)策略上，我們采用了多級(jí)存儲(chǔ)方案：3 個(gè)月內(nèi)的熱數(shù)據(jù)存儲(chǔ)在 SSD，3–12 個(gè)月的溫?cái)?shù)據(jù)存儲(chǔ)在 HDD，超過 1 年的冷數(shù)據(jù)自動(dòng)歸檔到對(duì)象存儲(chǔ)。這一策略使年存儲(chǔ)成本降低了 65%。

數(shù)據(jù)價(jià)值釋放

在數(shù)據(jù)消費(fèi)層，我們通過 TDengine TSDB 進(jìn)一步統(tǒng)一了數(shù)據(jù)服務(wù)能力：

• 統(tǒng)一數(shù)據(jù)服務(wù)：通過 REST API 為不同業(yè)務(wù)部門提供一致的數(shù)據(jù)訪問接口；
• 實(shí)時(shí)經(jīng)營看板：產(chǎn)量、銷量、庫存等關(guān)鍵指標(biāo)實(shí)時(shí)更新，支持高管決策；
• 成本精細(xì)核算：將設(shè)備能耗數(shù)據(jù)與生產(chǎn)數(shù)據(jù)關(guān)聯(lián)，實(shí)現(xiàn)單井成本分析。

技術(shù)架構(gòu)解析

在高可用部署方面，我們采用 3 節(jié)點(diǎn)集群架構(gòu)，并通過負(fù)載均衡 VIP 實(shí)現(xiàn)客戶端透明訪問。當(dāng)單節(jié)點(diǎn)發(fā)生故障時(shí)，可以自動(dòng)切換，盡可能實(shí)現(xiàn)業(yè)務(wù)無感知。

在數(shù)據(jù)模型設(shè)計(jì)上，我們針對(duì)業(yè)務(wù)特點(diǎn)設(shè)計(jì)了“三級(jí)標(biāo)簽”體系：一級(jí)標(biāo)簽是業(yè)務(wù)系統(tǒng)，二級(jí)標(biāo)簽是物理區(qū)域，三級(jí)標(biāo)簽是設(shè)備類型。這種設(shè)計(jì)既支持跨系統(tǒng)的全局查詢，也能夠兼顧單業(yè)務(wù)場(chǎng)景下的查詢效率。

實(shí)際收益

通過引入 TDengine TSDB 作為時(shí)序數(shù)據(jù)平臺(tái)核心引擎，我們?cè)趯懭胄阅堋⒉樵冃?、存?chǔ)成本和運(yùn)維效率等多個(gè)方面獲得了較為明顯的改善：

• 寫入性能提升：集群整體寫入能力達(dá)到 400 萬條/秒，可以滿足未來 3 年的增長需求。
• 查詢性能明顯優(yōu)化：95% 的查詢可以在 1 秒內(nèi)響應(yīng)，復(fù)雜聚合查詢從原來的 2–3 分鐘縮短到 5–10 秒。
• 存儲(chǔ)效率提升與成本下降：壓縮比極高，系統(tǒng)通過多級(jí)存儲(chǔ)等能力實(shí)現(xiàn)了年存儲(chǔ)成本降低 65%。
• 運(yùn)維效率提升：通過 taosKeeper 配合 Grafana 實(shí)現(xiàn)可視化監(jiān)控，運(yùn)維工作量減少了 70%。

信創(chuàng)支持

在信息技術(shù)應(yīng)用創(chuàng)新戰(zhàn)略推進(jìn)下，國產(chǎn)化替代已成為保障國家信息安全、實(shí)現(xiàn)產(chǎn)業(yè)自主可控的重要路徑。以 TDengine 時(shí)序數(shù)據(jù)庫的遷移實(shí)踐為例，該系統(tǒng)原運(yùn)行于 CentOS 7.9 環(huán)境，現(xiàn)已成功遷移至國產(chǎn)銀河麒麟高級(jí)服務(wù)器操作系統(tǒng) V10SP3 平臺(tái)。這一實(shí)踐的意義主要體現(xiàn)在兩個(gè)方面：

• 自主可控：銀河麒麟作為國產(chǎn)主流操作系統(tǒng)，與 TDengine TSDB 的結(jié)合有助于構(gòu)建從底層硬件到上層應(yīng)用的全棧信創(chuàng)體系，提升系統(tǒng)整體自主可控能力。
• 生態(tài)兼容：TDengine TSDB 已廣泛適配龍芯、鯤鵬等國產(chǎn) CPU 架構(gòu)，并與麒麟操作系統(tǒng)形成協(xié)同，進(jìn)一步增強(qiáng)了信創(chuàng)生態(tài)的融合度與穩(wěn)定性。遷移完成后，TDengine TSDB 仍能保持較高的時(shí)序數(shù)據(jù)處理效率，為行業(yè)用戶在信創(chuàng)轉(zhuǎn)型中提供可靠的數(shù)據(jù)底座支撐。

未來規(guī)劃

紅有軟件與濤思數(shù)據(jù)保持深度合作，共同參與 TDengine TSDB 在能源行業(yè)的生態(tài)建設(shè)，積極推動(dòng)時(shí)序數(shù)據(jù)庫技術(shù)的創(chuàng)新與應(yīng)用。在多個(gè)實(shí)際項(xiàng)目中，TDengine TSDB 已展現(xiàn)出在性能、穩(wěn)定性及系統(tǒng)適配性等方面的顯著優(yōu)勢(shì)。接下來，我們也將持續(xù)關(guān)注濤思數(shù)據(jù)的產(chǎn)品發(fā)展，期待在更多項(xiàng)目場(chǎng)景中深化合作。

關(guān)于紅有軟件

紅有軟件股份有限公司是專注于智能油田領(lǐng)域信息系統(tǒng)建設(shè)的國家級(jí)專精特新”小巨人”企業(yè)，2024 年 2 月申請(qǐng)股票在全國股份轉(zhuǎn)讓系統(tǒng)掛牌。2021 年 3 月 17 日，公司與新疆交通建設(shè)集團(tuán)、克拉瑪依云投公司簽署戰(zhàn)略投資協(xié)議，三方將整合國有平臺(tái)與信息技術(shù)優(yōu)勢(shì)，重點(diǎn)開發(fā)智慧交通、”互聯(lián)網(wǎng)+旅游”等新型基建項(xiàng)目。此次合作被列為克拉瑪依市”十四五”期間數(shù)字產(chǎn)業(yè)化發(fā)展的標(biāo)志性項(xiàng)目。

作者：侯斌

車聯(lián)網(wǎng)之困

作為智慧交通領(lǐng)域的領(lǐng)先企業(yè)，我們?cè)谕七M(jìn)新一代車聯(lián)網(wǎng)云控平臺(tái)的建設(shè)初期，主要面臨以下三大核心痛點(diǎn)：

• 其一，車端數(shù)據(jù)接入壓力巨大：全市 10 萬+ 運(yùn)營車輛需實(shí)時(shí)上報(bào)車速、電機(jī)轉(zhuǎn)速、電池包 SOC、GPS 軌跡等時(shí)序數(shù)據(jù)，傳統(tǒng)數(shù)據(jù)庫難以支撐高頻次、高并發(fā)的數(shù)據(jù)寫入，時(shí)常出現(xiàn)數(shù)據(jù)擁堵或丟失；
• 其二，路側(cè)感知數(shù)據(jù)處理滯后：路側(cè) RSU、攝像頭、雷達(dá)產(chǎn)生的目標(biāo)級(jí)結(jié)構(gòu)化數(shù)據(jù)（含目標(biāo) ID、坐標(biāo)、速度、類型）需用于實(shí)時(shí)碰撞風(fēng)險(xiǎn)計(jì)算與信號(hào)燈協(xié)同，但傳統(tǒng)存儲(chǔ)方案寫入延遲超過秒級(jí)，無法滿足毫秒級(jí)決策需求；
• 其三，數(shù)據(jù)價(jià)值挖掘低效：車路協(xié)同產(chǎn)生的 PB 級(jí)歷史數(shù)據(jù)分散存儲(chǔ)，缺乏統(tǒng)一的時(shí)序數(shù)據(jù)管理工具，想要聚合特定時(shí)段、路段的流量、平均速度等關(guān)鍵指標(biāo)，需耗費(fèi)數(shù)小時(shí)甚至數(shù)天，嚴(yán)重影響交通宏觀決策效率。

TDengine TSDB：開啟變革

為破解上述難題，我們引入專為時(shí)序數(shù)據(jù)設(shè)計(jì)的 TDengine TSDB。 憑借“超級(jí)表 + 子表”的獨(dú)特?cái)?shù)據(jù)建模方式，TDengine TSDB 能夠很好地適配車聯(lián)網(wǎng)場(chǎng)景中“設(shè)備數(shù)量多、數(shù)據(jù)并發(fā)高、采集頻率高”的數(shù)據(jù)特征。同時(shí)，TDengine TSDB 原生支持 MQTT、Kafka 等物聯(lián)網(wǎng)數(shù)據(jù)接入方式，可實(shí)現(xiàn)設(shè)備數(shù)據(jù)的直連寫入，大幅降低系統(tǒng)接入復(fù)雜度。此外，其內(nèi)置豐富的時(shí)序數(shù)據(jù)聚合函數(shù)，可將歷史數(shù)據(jù)查詢時(shí)間從小時(shí)級(jí)縮短至秒級(jí)，為車聯(lián)網(wǎng)系統(tǒng)的實(shí)時(shí)管控與歷史分析提供了堅(jiān)實(shí)的技術(shù)支撐。

亮點(diǎn)一：車端實(shí)時(shí)數(shù)據(jù)接入飛躍，10 萬+ 車輛毫秒級(jí)在線管控

我們基于 TDengine TSDB 設(shè)計(jì)了 “一車一子表” 的數(shù)據(jù)模型：以 “車輛信息超級(jí)表（vehicle_info_st）” 統(tǒng)一定義車速（speed）、電機(jī)轉(zhuǎn)速（motor_speed）、電池包 SOC（battery_soc）、GPS 經(jīng)度（gps_lng）、GPS 緯度（gps_lat）等字段，每輛車對(duì)應(yīng)一張獨(dú)立子表（子表名以車輛 VIN 碼命名，如 vin_123456789）。車輛通過 T-Box 以 MQTT 協(xié)議實(shí)時(shí)上報(bào)數(shù)據(jù)， TDengine TSDB 實(shí)現(xiàn)毫秒級(jí)入庫，穩(wěn)定支撐 10 萬+ 車輛同時(shí)在線，確保每輛車的動(dòng)態(tài)數(shù)據(jù)無延遲、無丟失。

TDengine TSDB SQL 語句（車輛實(shí)時(shí)數(shù)據(jù)查詢與監(jiān)控）：

 --   1. 創(chuàng)建車輛信息超級(jí)表（定義時(shí)序數(shù)據(jù)結(jié)構(gòu)）
CREATE   STABLE vehicle_info_st (
    ts TIMESTAMP,  -- 數(shù)據(jù)采集時(shí)間戳
    speed FLOAT,   -- 車速（單位：km/h）
    motor_speed INT,  -- 電機(jī)轉(zhuǎn)速（單位：rpm）
    battery_soc INT,  -- 電池包SOC（單位：%）
    gps_lng DOUBLE,   -- GPS經(jīng)度
    gps_lat DOUBLE    -- GPS緯度
)   TAGS (
    vin STRING,    -- 車輛唯一標(biāo)識(shí)（子表標(biāo)簽）
    vehicle_type STRING  -- 車輛類型（如公交車、出租車、私家車）
);
--   2. 查詢某輛車（VIN：vin_123456789）最近10分鐘的實(shí)時(shí)數(shù)據(jù)（用于大屏實(shí)時(shí)監(jiān)控）
SELECT   ts, speed, battery_soc, gps_lng, gps_lat 
FROM   vin_123456789 
WHERE   ts >= NOW() - 10m 
ORDER   BY ts DESC;
--   3. 統(tǒng)計(jì)全市各類型車輛的平均車速（用于交通狀態(tài)分析）
SELECT   vehicle_type, AVG(speed) AS avg_speed 
FROM   vehicle_info_st 
WHERE   ts >= NOW() - 5m 
GROUP   BY vehicle_type;

亮點(diǎn)二：路側(cè)感知數(shù)據(jù)接入升級(jí)，毫秒級(jí)支撐碰撞風(fēng)險(xiǎn)與信號(hào)燈協(xié)同

針對(duì)路側(cè)感知數(shù)據(jù)，我們采用 TDengine TSDB的“一路口一張子表” 建模方案：創(chuàng)建 “路側(cè)目標(biāo)信息超級(jí)表（road_side_target_st）”，定義目標(biāo) ID（target_id）、目標(biāo)坐標(biāo)（target_x/target_y）、目標(biāo)速度（target_speed）、目標(biāo)類型（target_type，如機(jī)動(dòng)車、非機(jī)動(dòng)車、行人）等字段，每個(gè)路口的路側(cè)設(shè)備（RSU + 攝像頭 + 雷達(dá)）對(duì)應(yīng)一張子表（子表名以路口編號(hào)命名，如 crossing_001）。

路側(cè)設(shè)備通過 MQTT、Kafka 協(xié)議將結(jié)構(gòu)化數(shù)據(jù)實(shí)時(shí)推送至區(qū)域云，由 TDengine TSDB 進(jìn)行毫秒級(jí)寫入與統(tǒng)一存儲(chǔ)。數(shù)據(jù)隨后實(shí)時(shí)同步至碰撞風(fēng)險(xiǎn)計(jì)算模塊和信號(hào)燈控制系統(tǒng)。當(dāng)系統(tǒng)檢測(cè)到車輛與行人距離小于安全閾值時(shí)，可在 500 毫秒內(nèi)觸發(fā)預(yù)警，并動(dòng)態(tài)調(diào)整信號(hào)燈配時(shí)，從而提升路口通行安全。

TDengine TSDB SQL 語句（路側(cè)目標(biāo)數(shù)據(jù)查詢與風(fēng)險(xiǎn)預(yù)警） ：

--   1. 創(chuàng)建路側(cè)目標(biāo)信息超級(jí)表
CREATE   STABLE road_side_target_st (
    ts TIMESTAMP,  -- 數(shù)據(jù)采集時(shí)間戳
    target_id INT,  -- 目標(biāo)唯一標(biāo)識(shí)
    target_x DOUBLE,  -- 目標(biāo)x坐標(biāo)（單位：m，基于路口坐標(biāo)系）
    target_y DOUBLE,  -- 目標(biāo)y坐標(biāo)（單位：m，基于路口坐標(biāo)系）
    target_speed FLOAT,  -- 目標(biāo)速度（單位：m/s）
    target_type STRING  -- 目標(biāo)類型（motor_vehicle/non_motor_vehicle/pedestrian）
)   TAGS (
    crossing_id STRING,  -- 路口編號(hào)（子表標(biāo)簽）
    device_id STRING     -- 路側(cè)設(shè)備ID
);
--   2. 查詢某路口（crossing_001）最近30秒內(nèi)的所有目標(biāo)數(shù)據(jù)（用于碰撞風(fēng)險(xiǎn)計(jì)算）
SELECT   ts, target_id, target_x, target_y, target_speed, target_type 
FROM   crossing_001 
WHERE   ts >= NOW() - 30s 
ORDER   BY ts DESC;
--   3. 統(tǒng)計(jì)某路口早晚高峰（7:00-9:00、17:00-19:00）的各類目標(biāo)流量（用于信號(hào)燈配時(shí)優(yōu)化）
SELECT   target_type, COUNT(DISTINCT target_id) AS target_count 
FROM   road_side_target_st 
WHERE   crossing_id = 'crossing_001' 
  AND (ts BETWEEN '2024-01-01 07:00:00' AND   '2024-01-01 09:00:00' 
       OR ts BETWEEN '2024-01-01 17:00:00'   AND '2024-01-01 19:00:00') 
GROUP   BY target_type;

亮點(diǎn)三：云控平臺(tái)與歷史分析革新，PB 級(jí)數(shù)據(jù)支撐宏觀決策

在 “邊緣云→區(qū)域云→中心云” 三級(jí)云控架構(gòu)中，TDengine TSDB 承擔(dān) “實(shí)時(shí)數(shù)據(jù)湖 + 歷史倉庫” 雙重角色：邊緣云實(shí)時(shí)采集車端、路側(cè)數(shù)據(jù)并寫入 TDengine TSDB，區(qū)域云基于 TDengine TSDB 進(jìn)行實(shí)時(shí)計(jì)算（如路段流量統(tǒng)計(jì)），中心云則存儲(chǔ)全量 PB 級(jí)歷史數(shù)據(jù)。

借助 TDengine TSDB 超級(jí)表的高效聚合能力，系統(tǒng)能夠快速查詢?nèi)我鈺r(shí)間范圍（如近一周、近一個(gè)月）以及任意路段（如西湖大道、錢江新城隧道）的交通關(guān)鍵指標(biāo)，包括車流量、平均速度以及基于車速和車輛類型計(jì)算的碳排強(qiáng)度。實(shí)際應(yīng)用中，相關(guān)數(shù)據(jù)查詢響應(yīng)時(shí)間已從傳統(tǒng)方案的 2 小時(shí)縮短至 3 秒以內(nèi)，為交通宏觀決策、高精地圖更新以及城市級(jí)交通仿真提供了精準(zhǔn)的數(shù)據(jù)支撐。

TDengine TSDB SQL 語句（交通宏觀數(shù)據(jù)聚合與分析） ：

--   1. 聚合某路段（如西湖大道，通過GPS范圍界定）近1周的日均車流量與平均車速
SELECT   DATE(ts) AS stat_date, 
       COUNT(DISTINCT vin) AS   daily_flow,  -- 日均車流量（按車輛VIN去重）
       AVG(speed) AS avg_daily_speed       -- 日均平均車速
FROM   vehicle_info_st 
WHERE   gps_lng BETWEEN 120.123 AND 120.145  --   西湖大道路段經(jīng)度范圍
  AND gps_lat BETWEEN 30.234 AND 30.256   -- 西湖大道路段緯度范圍
  AND ts >= NOW() - 7d 
GROUP   BY stat_date 
ORDER   BY stat_date;
--   2. 計(jì)算全市近1個(gè)月各區(qū)域的碳排強(qiáng)度（基于車輛類型與車速的自定義公式）
SELECT   vehicle_type, 
       AVG(CASE WHEN speed <= 20 THEN   0.8  -- 低速行駛碳排系數(shù)
                WHEN speed <= 60 THEN   0.5  -- 中速行駛碳排系數(shù)
                ELSE 0.6 END) AS   carbon_intensity  -- 高速行駛碳排系數(shù)
FROM   vehicle_info_st 
WHERE   ts >= NOW() - 30d 
GROUP   BY vehicle_type;
--   3. 查詢某區(qū)域（如錢江新城）近24小時(shí)的交通流量變化趨勢(shì)（用于實(shí)時(shí)仿真）
SELECT   DATE_TRUNC('hour', ts) AS stat_hour,    -- 按小時(shí)聚合
       COUNT(*) AS hourly_flow 
FROM   vehicle_info_st 
WHERE   gps_lng BETWEEN 120.167 AND 120.189 
  AND gps_lat BETWEEN 30.268 AND 30.290 
  AND ts >= NOW() - 24h 
GROUP   BY stat_hour 
ORDER   BY stat_hour;

業(yè)務(wù)改進(jìn)與提升

1. 成本效益雙豐收

相比傳統(tǒng)數(shù)據(jù)庫方案， TDengine TSDB 通過 “超級(jí)表 + 子表” 的輕量化建模，將存儲(chǔ)成本降低 60%（PB 級(jí)數(shù)據(jù)存儲(chǔ)無需額外擴(kuò)容硬件）；同時(shí)，其原生支持?jǐn)?shù)據(jù)壓縮與分布式計(jì)算，減少了 50% 的服務(wù)器部署數(shù)量，每年為我們節(jié)省硬件采購與運(yùn)維成本超 200 萬元。此外，數(shù)據(jù)查詢效率提升 99%（從 2 小時(shí)縮短至 3 秒），大幅減少計(jì)算資源占用，進(jìn)一步降低 IT 運(yùn)營成本。

2. 決策精準(zhǔn)效率高

依托 TDengine TSDB 的實(shí)時(shí)數(shù)據(jù)處理能力，我們的車輛管控業(yè)務(wù)實(shí)現(xiàn)了從 “事后追溯” 到 “實(shí)時(shí)預(yù)警” 的轉(zhuǎn)變（如 10 萬 + 車輛異常狀態(tài)可在 1 秒內(nèi)觸發(fā)警報(bào)）；在宏觀決策層面，基于 TDengine TSDB 的快速數(shù)據(jù)聚合，交通信號(hào)燈配時(shí)優(yōu)化周期從 1 個(gè)月縮短至 1 周。

未來展望：持續(xù)進(jìn)化

下一步，我們將繼續(xù)深化 TDengine TSDB 的應(yīng)用場(chǎng)景：一方面，拓展 “車-路-云-人” 全要素?cái)?shù)據(jù)接入，將共享單車、行人過馬路數(shù)據(jù)納入 TDengine TSDB 中進(jìn)行管理，構(gòu)建更全面的交通數(shù)據(jù)體系；另一方面，基于 TDengine TSDB 的時(shí)序數(shù)據(jù)挖掘能力，開發(fā) “交通擁堵預(yù)測(cè)模型”，實(shí)現(xiàn)提前 15 分鐘預(yù)測(cè)路段擁堵情況并推送至市民導(dǎo)航 APP，進(jìn)一步提升城市交通智能化水平。

關(guān)于海康智聯(lián)

浙江?？抵锹?lián)科技有限公司為中電?？导瘓F(tuán)旗下企業(yè)，秉承中國電子科技集團(tuán)有限公司新一代信息基礎(chǔ)設(shè)施戰(zhàn)略，用科技筑基交通強(qiáng)國偉業(yè)，致力成為國內(nèi)領(lǐng)先的智能網(wǎng)聯(lián)與車路協(xié)同產(chǎn)品和技術(shù)服務(wù)商。在《交通強(qiáng)國建設(shè)綱要》的指引下，海康智聯(lián)持續(xù)以“客戶為中心”進(jìn)行技術(shù)與產(chǎn)品的研發(fā)和創(chuàng)新，打造數(shù)字化、網(wǎng)聯(lián)化、智能化、協(xié)同化的數(shù)智道路，構(gòu)建泛在的、先進(jìn)的交通信息基礎(chǔ)設(shè)施。

作者：?？抵锹?lián) 徐翔

業(yè)務(wù)痛點(diǎn)

上海叁零肆零科技有限公司專注于能源與公共事業(yè)領(lǐng)域的數(shù)智化轉(zhuǎn)型，依托智慧硬件與數(shù)字孿生技術(shù)，為政府及行業(yè)客戶提供一體化解決方案。

在現(xiàn)有架構(gòu)下，業(yè)務(wù)系統(tǒng)面臨三重核心痛點(diǎn)：

1. 數(shù)據(jù)量爆炸：傳感設(shè)備每秒生成數(shù)幾十萬條記錄，傳統(tǒng)數(shù)據(jù)庫無法高效處理時(shí)序數(shù)據(jù)的寫入和查詢，導(dǎo)致系統(tǒng)延遲飆升；
2. 存儲(chǔ)成本高昂：原始數(shù)據(jù)占用龐大存儲(chǔ)空間（未經(jīng)壓縮的年存儲(chǔ)需求達(dá) PB 級(jí)別），且歷史數(shù)據(jù)分析能力弱，無法支撐長期趨勢(shì)預(yù)測(cè)；
3. 運(yùn)維復(fù)雜性高：為此我們調(diào)研過一些國外的時(shí)序數(shù)據(jù)庫，但發(fā)現(xiàn)集群部署需復(fù)雜配置，維護(hù)成本高，且在故障時(shí)恢復(fù)時(shí)間長（平均需數(shù)小時(shí)），影響業(yè)務(wù)連續(xù)性。

這些痛點(diǎn)促使公司開始尋求專業(yè)的時(shí)序數(shù)據(jù)庫解決方案，希望借助高吞吐、低延遲、高可靠的時(shí)序數(shù)據(jù)處理引擎，突破海量數(shù)據(jù)帶來的性能瓶頸，同時(shí)有效降低整體擁有成本。

產(chǎn)品選型驗(yàn)證

基于上述背景，公司的選型目標(biāo)聚焦于四個(gè)關(guān)鍵維度：高吞吐寫入（支持萬級(jí)數(shù)據(jù)點(diǎn)/秒）、極致壓縮、易用運(yùn)維（簡化部署和維護(hù)）、高可用性（集群支持故障秒級(jí)切換）。以下是選型過程的核心依據(jù)：

調(diào)研對(duì)比主流時(shí)序數(shù)據(jù)庫及其優(yōu)缺點(diǎn)

在選型階段，公司對(duì)市場(chǎng)主流的多款時(shí)序數(shù)據(jù)庫進(jìn)行了實(shí)際測(cè)試與對(duì)比。結(jié)果顯示，TDengine TSDB 在多項(xiàng)關(guān)鍵指標(biāo)上表現(xiàn)突出：寫入性能輕松達(dá)到 200 萬條/秒，數(shù)據(jù)壓縮比實(shí)測(cè)達(dá)到 10:1（顯著優(yōu)于其他產(chǎn)品）。同時(shí)，TDengine 支持標(biāo)準(zhǔn) SQL 語法，大幅降低了技術(shù)團(tuán)隊(duì)的學(xué)習(xí)和使用成本。此外，其對(duì)國產(chǎn)操作系統(tǒng)與 CPU 架構(gòu)的全面支持，也為未來可能進(jìn)行的操作系統(tǒng)或硬件平臺(tái)遷移提供了充分保障，消除了后續(xù)升級(jí)與替換的顧慮。

寫入性能滿足要求：

查詢性能測(cè)試滿足要求：

SQL: select * from slslgw.tb_1 where ts>='2020-01-01T00:00:00+0800' and ts<'2020-01-02T00:00:00+0800' limit 1000;

complete query with 4 threads and 40 sql 1 spend 0.117217s QPS: 341.247 query delay avg: 0.010586s min: 0.015509s max: 0.006822s p90: 0.007946s p95: 0.007037s p99: 0.006822s 

 INFO: Spend 0.1340 second completed total queries: 40, the QPS of all threads:    298.507 ,error 0 (rate:0.000%)

SQL: select * from slslgw.pipelinedata where tbname='gw01' and  ts>='2020-01-01T00:00:00+0800' and ts<'2020-01-02T00:00:00+0800';

complete query with 4 threads and 40 sql 1 spend 0.090879s QPS: 440.146 query delay avg: 0.008682s min: 0.011688s max: 0.003555s p90: 0.009974s p95: 0.003825s p99: 0.003555s 

 INFO: Spend 0.1080 second completed total queries: 40, the QPS of all threads:    370.370 ,error 0 (rate:0.000%)


SQL: select count(*),avg(voltage1),max(voltage1),min(voltage1) from slslgw.pipelinedata where tbname='gw01' and  ts>='2020-01-01T00:00:00+0800' and ts<'2020-01-02T00:00:00+0800';

complete query with 4 threads and 40 sql 1 spend 0.095481s QPS: 418.932 query delay avg: 0.009225s min: 0.016595s max: 0.003720s p90: 0.009214s p95: 0.005597s p99: 0.003720s 

 INFO: Spend 0.1140 second completed total queries: 40, the QPS of all threads:    350.877 ,error 0 (rate:0.000%)


SQL: select last_row(*),tbname from slslgw.pipelinedata group by tbname;

complete query with 4 threads and 40 sql 1 spend 0.463559s QPS: 86.289 query delay avg: 0.046484s min: 0.065897s max: 0.043449s p90: 0.040978s p95: 0.050499s p99: 0.043449s 

 INFO: Spend 0.4900 second completed total queries: 40, the QPS of all threads:     81.633 ,error 0 (rate:0.000%)

SQL: select _wstart, _wend, count(*) from slslgw.tb_0 event_window start with voltage1 > 220 end with voltage1 <= 240;

complete query with 4 threads and 40 sql 1 spend 0.311399s QPS: 128.453 query delay avg: 0.029681s min: 0.056654s max: 0.027650s p90: 0.028418s p95: 0.027209s p99: 0.027650s 

 INFO: Spend 0.3310 second completed total queries: 40, the QPS of all threads:    120.846 ,error 0 (rate:0.000%)

性能測(cè)試與核心優(yōu)勢(shì)總結(jié)

后續(xù)公司針對(duì) TDengine TSDB 進(jìn)行了基準(zhǔn)測(cè)試，結(jié)果顯示其優(yōu)勢(shì)集中在以下幾點(diǎn)：

• 部署運(yùn)維簡單：單機(jī)版可在 5 分鐘內(nèi)完成安裝，可以采用容器化部署。集群部署通過廠家支持配合部署，運(yùn)維成本相比 OpenTSDB 降低 70%。
• 高可用與可擴(kuò)展性：原生支持分布式集群，故障自動(dòng)切換，且線性擴(kuò)展能力支持未來數(shù)據(jù)量增長。
• 壓縮比與成本效益：列式存儲(chǔ)架構(gòu)實(shí)現(xiàn) 10:1 壓縮比，年存儲(chǔ)需求從 PB 級(jí)降至百 TB 級(jí)，節(jié)省硬件成本 40%以上。
• 功能全面性：支持標(biāo)準(zhǔn) SQL 語法、無縫對(duì)接現(xiàn)有 BI 工具，企業(yè)版還提供多級(jí)存儲(chǔ)功能，自動(dòng)將冷數(shù)據(jù)遷移至廉價(jià)存儲(chǔ)，進(jìn)一步優(yōu)化 TCO。

綜合評(píng)估后，TDengine TSDB 憑借出色的實(shí)測(cè)性能和全面的技術(shù)優(yōu)勢(shì)，成為公司的理想選擇，助力我們構(gòu)建實(shí)時(shí)、高效的時(shí)序數(shù)據(jù)平臺(tái)。

主要業(yè)務(wù)場(chǎng)景的落地實(shí)踐

我們公司的核心業(yè)務(wù)是為能源與公共事業(yè)客戶（天然氣公司、蒸汽供熱公司等）構(gòu)建數(shù)字孿生系統(tǒng)。該系統(tǒng)通過部署數(shù)十萬個(gè)實(shí)時(shí)傳感設(shè)備（閥井可燃?xì)怏w檢測(cè)設(shè)備、管網(wǎng)哨兵等），持續(xù)采集時(shí)序數(shù)據(jù)流，用于模擬物理世界的動(dòng)態(tài)變化（如管網(wǎng)壓力波動(dòng)、設(shè)備能耗趨勢(shì)）。這些數(shù)據(jù)是實(shí)現(xiàn)智能預(yù)警、能效優(yōu)化和決策支持的基礎(chǔ)，業(yè)務(wù)要求 7×24 小時(shí)不間斷運(yùn)行，確保數(shù)據(jù)的實(shí)時(shí)性和準(zhǔn)確性。

城市燃?xì)夤芫W(wǎng)數(shù)字孿生與安全運(yùn)營平臺(tái)并非簡單的數(shù)據(jù)可視化，而是一個(gè)深度融合了物理感知、數(shù)據(jù)驅(qū)動(dòng)與仿真模擬的復(fù)雜系統(tǒng)。

在數(shù)據(jù)采集層面，系統(tǒng)需要兼顧數(shù)據(jù)的廣度與深度：

• 監(jiān)測(cè)對(duì)象：覆蓋從高壓主干網(wǎng)到小區(qū)庭院管、乃至最終用戶調(diào)壓箱的全鏈路管網(wǎng)體系。
• 關(guān)鍵參數(shù)：部署的數(shù)十萬傳感設(shè)備實(shí)時(shí)采集管道壓力（MPa）、瞬時(shí)/累計(jì)流量（Nm3/h）、溫度（℃）、閥井內(nèi)可燃?xì)怏w濃度（LEL%） 等核心工藝與安全指標(biāo)。
• 數(shù)據(jù)特征： 數(shù)據(jù)源具有典型的高頻、強(qiáng)時(shí)序、多標(biāo)簽特性。每個(gè)數(shù)據(jù)點(diǎn)都附帶精確到毫秒的時(shí)間戳、設(shè)備 ID、地理位置、管網(wǎng)分區(qū)等多維標(biāo)簽信息。

在業(yè)務(wù)邏輯層面，平臺(tái)通過 TDengine TSDB 構(gòu)建起完整的數(shù)據(jù)價(jià)值閉環(huán)：

1. 實(shí)時(shí)監(jiān)測(cè)與智能預(yù)警：

• 場(chǎng)景： 系統(tǒng)需對(duì)海量測(cè)點(diǎn)進(jìn)行秒級(jí)輪詢，實(shí)時(shí)判斷管網(wǎng)運(yùn)行狀態(tài)。例如，通過 TDengine TSDB 查詢，對(duì)壓力數(shù)據(jù)進(jìn)行實(shí)時(shí)聚合與閾值判斷，一旦發(fā)現(xiàn)壓力驟降（可能預(yù)示泄漏），立即觸發(fā)告警。
• TDengine TSDB 優(yōu)勢(shì)： 其高吞吐寫入能力確保了告警的實(shí)時(shí)性，避免了因數(shù)據(jù)堆積導(dǎo)致的告警延遲。

2. 設(shè)備預(yù)測(cè)性維護(hù)與能效分析：

• 場(chǎng)景： 通過對(duì)關(guān)鍵設(shè)備的長期壓力、流量時(shí)序數(shù)據(jù)進(jìn)行降采樣聚合與趨勢(shì)分析，構(gòu)建設(shè)備健康度模型，預(yù)測(cè)其剩余壽命與性能衰減，從而實(shí)現(xiàn)從“事后維修”到“事前維護(hù)”的轉(zhuǎn)變。
• TDengine TSDB 優(yōu)勢(shì)： 極致的壓縮比使得長期存儲(chǔ)高頻歷史數(shù)據(jù)成為可能，為趨勢(shì)分析提供了充足的數(shù)據(jù)燃料。其針對(duì)時(shí)序場(chǎng)景優(yōu)化的窗口函數(shù)與插值功能，能高效處理因設(shè)備休眠或通信中斷造成的數(shù)據(jù)缺失問題，保證分析模型的準(zhǔn)確性。

3. 管網(wǎng)水力仿真與數(shù)字孿生：

• 場(chǎng)景： 這是最具技術(shù)含量的核心應(yīng)用。平臺(tái)利用實(shí)時(shí)采集的壓力、流量數(shù)據(jù)作為邊界條件，驅(qū)動(dòng)后臺(tái)的流體動(dòng)力學(xué)仿真模型，在數(shù)字世界中動(dòng)態(tài)復(fù)現(xiàn)整個(gè)管網(wǎng)的運(yùn)行狀態(tài)。這可用于模擬應(yīng)急工況（如某處閥門關(guān)閉）、預(yù)測(cè)管段負(fù)荷、優(yōu)化供氣調(diào)度方案。
• TDengine TSDB 優(yōu)勢(shì)： 仿真模型需要快速查詢特定時(shí)間段、特定管段路徑上的大量歷史數(shù)據(jù)作為輸入。TDengine TSDB 支持的標(biāo)準(zhǔn) SQL 及對(duì)時(shí)間分區(qū)、標(biāo)簽索引的原生優(yōu)化，使得此類復(fù)雜查詢能夠以毫秒級(jí)延遲完成，極大地加速了仿真迭代周期，讓數(shù)字孿生體能夠與物理世界保持同步。

TDengine TSDB 使用表現(xiàn)

穩(wěn)定運(yùn)行，極大降低維護(hù)成本

自 2022 年起，我們開始使用 TDengine TSDB 企業(yè)版，并采用 2 節(jié)點(diǎn)集群 + 仲裁節(jié)點(diǎn)的部署架構(gòu)。從項(xiàng)目上線運(yùn)行至今，TDengine TSDB 始終保持穩(wěn)定運(yùn)行、未出現(xiàn)故障，不僅顯著降低了系統(tǒng)維護(hù)成本，也通過集群架構(gòu)有效保障了平臺(tái)的高可用性與穩(wěn)定性。

數(shù)據(jù)寫入高效、查詢使用方便

• TDengine TSDB 支持多種寫入方式，包括標(biāo)準(zhǔn) SQL、批量寫入、多表寫入與自動(dòng)建表等。內(nèi)置高效寫入機(jī)制，自動(dòng)調(diào)度線程與批量處理，顯著提升吞吐量，輕松應(yīng)對(duì)高頻寫入場(chǎng)景。
• 在查詢能力方面，TDengine TSDB 對(duì)標(biāo)準(zhǔn) SQL 的完整支持顯著降低了開發(fā)團(tuán)隊(duì)的學(xué)習(xí)與遷移成本。當(dāng)面對(duì)諸如“查詢 A 區(qū)域過去 24 小時(shí)每 5 分鐘的平均壓力，并與去年同期進(jìn)行對(duì)比”或“獲取設(shè)備最新數(shù)據(jù)”等復(fù)雜查詢需求時(shí)，系統(tǒng)能夠高效利用預(yù)計(jì)算、緩存、降采樣以及標(biāo)簽索引等機(jī)制，將查詢響應(yīng)時(shí)間從傳統(tǒng)數(shù)據(jù)庫的分鐘級(jí)縮短至毫秒級(jí)，為實(shí)時(shí)決策看板與交互式分析提供了可能。

使用 TDengine TSDB 獲取最新有效數(shù)據(jù)時(shí)，查詢速度快：

使用 TDengine TSDB 查詢過去 24h 監(jiān)控值，便于進(jìn)行監(jiān)控：

SELECT 
  AVG(work_instantaneous_flow) as avg_flow,MAX(pressure) as max_pressure,MIN(temperature) as min_temp
FROM flowmeter_position_data
WHERE ts >= NOW - 24h;

使用 TDengine TSDB 檢查最近數(shù)據(jù)完整性，確保數(shù)據(jù)上報(bào)入庫完整：

SELECT    COUNT(*) as total_rows,   COUNT(standard_accumulated_flow)   FROM flowmeter_position_data  WHERE ts >= NOW - 1d;

高壓縮率，降低存儲(chǔ)成本

目前系統(tǒng)已穩(wěn)定運(yùn)行 3 年，服務(wù)器磁盤容量仍能滿足存儲(chǔ)需求，尚無需進(jìn)行磁盤擴(kuò)容。這得益于 TDengine TSDB 出色的數(shù)據(jù)壓縮能力，顯著提升了存儲(chǔ)利用率：

• TDengine TSDB 通過其列式存儲(chǔ)引擎，并針對(duì)不同數(shù)據(jù)類型（如整型、浮點(diǎn)型）自適應(yīng)選擇 LZ4、ZSTD 等壓縮算法，實(shí)現(xiàn)了約 10:1 的高壓縮比，從而顯著降低存儲(chǔ)占用，直接節(jié)省 40% 以上的硬件與運(yùn)維成本。
• 此外，企業(yè)版提供的多級(jí)存儲(chǔ)功能也很好地契合了時(shí)序數(shù)據(jù)“熱、溫、冷”的生命周期特性。系統(tǒng)能夠自動(dòng)將超過設(shè)定時(shí)限的冷數(shù)據(jù)從高性能 SSD 遷移至成本更低的對(duì)象存儲(chǔ)或 SATA 硬盤，在確保歷史數(shù)據(jù)仍可高效查詢的同時(shí)，進(jìn)一步優(yōu)化了總體擁有成本。

國產(chǎn)化適配度高

為滿足國產(chǎn)化部署要求，系統(tǒng)需要運(yùn)行在國產(chǎn)操作系統(tǒng)環(huán)境中。TDengine TSDB 企業(yè)版已完成與主流國產(chǎn)操作系統(tǒng)（如麒麟、統(tǒng)信）及 CPU 架構(gòu)的全面適配，安裝部署過程與在 x86 環(huán)境無異，為公司技術(shù)棧的自主可控戰(zhàn)略掃清了障礙，避免了潛在的供應(yīng)鏈風(fēng)險(xiǎn)。

未來規(guī)劃

目前，TDengine TSDB 已發(fā)布至 3.3 大版本，我們也在持續(xù)關(guān)注新版本帶來的各項(xiàng)功能與特性。鑒于當(dāng)前業(yè)務(wù)系統(tǒng)運(yùn)行穩(wěn)定，暫未計(jì)劃進(jìn)行版本升級(jí)。未來在新的項(xiàng)目建設(shè)中，我們將優(yōu)先考慮采用 TDengine TSDB 的最新版本，以充分利用其持續(xù)演進(jìn)帶來的更多功能與便利性。

關(guān)于上海叁零肆零

上海叁零肆零科技有限公司總部設(shè)立于上海臨港新區(qū)，是一家服務(wù)于綜合管網(wǎng)數(shù)字化、精細(xì)化和智慧化的安全運(yùn)營服務(wù)提供商。公司主營業(yè)務(wù)包含智能傳感終端（傳感芯片）和基于燃?xì)鈭?chǎng)景下的人工智能算法服務(wù)、管道燃?xì)鈮毫?、管道燃?xì)鉁囟?、管道燃?xì)鈿怏w流量等關(guān)鍵指標(biāo)的在線監(jiān)測(cè)終端設(shè)備和基于數(shù)字孿生及仿真模擬技術(shù)構(gòu)建智慧管網(wǎng)運(yùn)營平臺(tái)，為天然氣行業(yè)數(shù)智化升級(jí)提供整體解決方案?，F(xiàn)在已經(jīng)上線的智慧運(yùn)營平臺(tái)正在為 80 多家燃?xì)夤荆瑪?shù)千家終端用戶提供服務(wù)。基于數(shù)字孿生技術(shù)的仿真系統(tǒng)完全掌握自主知識(shí)產(chǎn)權(quán)，實(shí)現(xiàn)了國內(nèi)同類產(chǎn)品零的突破，已經(jīng)在多家城燃企業(yè)部署實(shí)施。

作者： 王保文