小 T 導(dǎo)讀：在中科云創(chuàng)的“天工云中控”項目中，TDengine 作為基礎(chǔ)數(shù)據(jù)庫的角色，承擔(dān)著實時數(shù)據(jù)存儲、高效壓縮、快速聚合查詢等任務(wù)。不僅在分析業(yè)務(wù)模塊上帶來了性能上的巨大提升，更是在成本上達到了幾乎對半的下調(diào)，極大地節(jié)省了中科云創(chuàng)在基礎(chǔ)數(shù)據(jù)庫建設(shè)上的投入。

公司簡介

中科云創(chuàng)致力于通過工業(yè)互聯(lián)網(wǎng)助力裝備制造企業(yè)轉(zhuǎn)型為裝備服務(wù)企業(yè)，是中國云體系產(chǎn)業(yè)創(chuàng)新戰(zhàn)略聯(lián)盟、中國智能制造系統(tǒng)解決方案供應(yīng)商聯(lián)盟的理事單位。公司創(chuàng)始人、核心團隊成員均來自于微軟、巴魯夫、思科、索尼等知名軟硬件公司，并擁有一批技術(shù)過硬的產(chǎn)品開發(fā)人員，具有大量工業(yè)互聯(lián)網(wǎng)經(jīng)驗與資源，對于工業(yè)領(lǐng)域的痛點把握極其精準(zhǔn)敏銳。

“天工云中控”項目是中科云創(chuàng)綜合運用物聯(lián)網(wǎng)、語音識別、圖像識別、機器學(xué)習(xí)、AR、設(shè)備遠程維修等多項最新科技搭建的工業(yè)物聯(lián)網(wǎng)設(shè)備健康管理 SaaS 服務(wù)平臺。定位是為工業(yè)設(shè)備全生命周期管理提供技術(shù)支持，提高企業(yè)生產(chǎn)效率，降低運維、融資和備件的采購成本。

在這個項目中，TDengine 作為基礎(chǔ)數(shù)據(jù)庫的角色，承擔(dān)著實時數(shù)據(jù)存儲、高效壓縮、快速聚合查詢等任務(wù)，在“天工云中控”的工業(yè)物聯(lián)網(wǎng)、智慧城市、傳統(tǒng)工業(yè)、能源行業(yè)、化工行業(yè)和消防安全等領(lǐng)域發(fā)揮了十分重要的作用。

當(dāng)前，“天工云中控”已經(jīng)幫助多地政府，建立針對當(dāng)?shù)厣a(chǎn)企業(yè)集群的通用化工業(yè)設(shè)備上云公共服務(wù)平臺，助力政府和企業(yè)快速實現(xiàn)行業(yè)數(shù)據(jù)分析、訂單透明化生產(chǎn)、設(shè)備和環(huán)境安全監(jiān)控和預(yù)警等功能。在智慧城市領(lǐng)域，“天工云中控”提供的物聯(lián)網(wǎng)數(shù)據(jù)中臺、智慧消安防、智慧配電等多個垂直應(yīng)用，也已經(jīng)應(yīng)用在北京、重慶、成都、貴陽、武漢等多個城市甚至包括新加坡等海外國家。

一、與 TDengine 初相識

2020 年中旬，我們開始對時序數(shù)據(jù)庫（Time-Series Database）做技術(shù)選型。由于之前公司采用的是某公有云的數(shù)據(jù)庫，所以一開始依然是基于公有云開始評估的。但出于對公司數(shù)據(jù)安全性的考量，我們發(fā)現(xiàn)數(shù)據(jù)庫服務(wù)包括數(shù)據(jù)存儲、備份等需求在公有云上都存在很多不可控的因素。所以我們開始轉(zhuǎn)變思路，對可以私有化部署的時序數(shù)據(jù)庫進行選型。

我們決定在 TDengine 和 InfluxDB 之間進行抉擇，各種評估工作也隨之展開。由于 InfluxDB 只是單機開源，且在單機規(guī)模下的性能、存儲、數(shù)據(jù)壓縮比等各方面的指標(biāo)也不如 TDengine；此外，從多方資料以及官方人員的科普得知，TDengine 更大的亮點在于集群橫向擴展處理海量數(shù)據(jù)且功能開源，再加上有國產(chǎn)時序數(shù)據(jù)庫的加成，因此我們最終確定采用 TDengine 作為本項目的數(shù)據(jù)庫解決方案。

二、搭建與效果

在測試階段，我們使用了三臺 4 核 8 GB、數(shù)據(jù)磁盤 1 TB（支持無限擴容），搭建起了一套三節(jié)點三副本的 TDengine 集群服務(wù)。在測試完成之后，TDengine 于 2021 年 7 月正式投入使用。2021 年 12 月，天工云中控項目正式全面地切入 TDengine 服務(wù)。

目前根據(jù)業(yè)務(wù)類型，我們已經(jīng)創(chuàng)建了 8 張超級表以及數(shù)十萬張子表，基礎(chǔ)數(shù)據(jù)如下：

TDengine 在應(yīng)用集成方面做得非常完善，支持 C/C++，Java，Python 等多種語言，在應(yīng)用的過程中，我們采用 Spring Boot 非?？焖俚鼐屯瓿闪朔?wù)的集成，同時使用“采集數(shù)據(jù)以數(shù)據(jù)類型為基準(zhǔn)存儲”，完全適配了原有的業(yè)務(wù)模式，迅速完成了對原有服務(wù)的“鳥槍換炮”。

我們的原始數(shù)據(jù)為單副本存儲，經(jīng)某云上的時序數(shù)據(jù)庫壓縮后為 50 GB 左右的數(shù)據(jù)量，三副本就是 150 GB；但是遷移到 TDengine 上采用三副本后，目前存儲占有僅為 114 GB：

按照我們原有的數(shù)據(jù)存儲空間的核算，最少預(yù)估需要150 GB（50×3）的磁盤空間來做存儲，但有賴于 TDengine 對數(shù)據(jù)超高的壓縮率，比某云時序數(shù)據(jù)庫多節(jié)省了將近 40 GB 的容量。

在數(shù)據(jù)寫入方面，以我們接入的能源行業(yè)其中某一個客戶為例，他們目前采集的設(shè)備為 300 臺，數(shù)據(jù)采集點 45,000 個，每秒的數(shù)據(jù)寫入量 50,000 個點。TDengine單核就可以處理每秒 20,000 次的請求，對于TDengine的集群版來說，50,000 的寫入量可謂是輕輕松松，隨寫隨查完全做到了零延遲。而整體上，目前的總接入量每秒基本是 200,000 個點左右。

在數(shù)據(jù)查詢方面，針對超級表的數(shù)據(jù)查詢，st_int 數(shù)據(jù)量 554 億條數(shù)據(jù)：

對該表進行降采樣查詢——查詢一個月內(nèi)每周的 value 總量：

select sum(value) from st_int where value = 2 AND ts >= ‘1601481600000’ AND ts <=‘1604073599000’ interval(1w);

在原始數(shù)據(jù)達到 550 億行這個數(shù)量級的情況下，篩選+分組聚合查詢數(shù)據(jù)僅 8 s 就完成了。但其實在我們的日常使用過程中，更多的是對某個點位（子表）的聚合查詢，而這種查詢都很快就能完成。

比如下面這個將近一年時間跨度數(shù)據(jù)的降采樣查詢，僅用時 0.538 s：

select sum(value) from c_Alx1b7hr where ts >= ‘1577808000000’ AND ts <=‘1603987200000’ interval(1w);

在日常工作中，單臺服務(wù)器 CPU 使用維持在 30% 左右，內(nèi)存的占用量大概為 5 GB 左右。

綜合多方面的具體分析，TDengine 對我們分析業(yè)務(wù)模塊不僅帶來了性能上的巨大提升，更是在成本上達到了幾乎對半的下調(diào)，這極大地節(jié)省了我們在基礎(chǔ)數(shù)據(jù)庫建設(shè)上的投入。

三、結(jié)語

在此，我們想感謝一下 TDengine Database 的官方社區(qū)。雖然我們使用的是開源版產(chǎn)品，但從項目初步上線，到數(shù)據(jù)遷移，再到正式完成切換，官方社區(qū)依然給到了我們非常全面的一對一支持。在他們的幫助下，我們順利完成了第一階段的數(shù)據(jù)庫建設(shè)，并且平穩(wěn)實現(xiàn)了新舊產(chǎn)品的過渡。目前，我們的本地化部署還未走向跨區(qū)域（機房）階段，未來我們計劃將 TDengine 更全面地推廣到各類業(yè)務(wù)應(yīng)用中，促進“天工云中控” SaaS 平臺的更平穩(wěn)發(fā)展。

希望在 TDengine 應(yīng)用到各類項目的過程中，也能促進其各項特性的進一步完善。此外，隨著我們業(yè)務(wù)規(guī)模的擴大，雙方也有望達成更深層次的合作，實現(xiàn)雙贏。

作者簡介

李波，中科云創(chuàng)軟件研發(fā)工程師。地道的南方人，喜歡北方的冰雪世界；標(biāo)準(zhǔn)的程序猿，沉浸各種語言的大海，技術(shù)狂熱愛好者。