六月婷婷AV,国产偷窥猎奇福利二区,日韩三级片。,好吊色网站,日韩成人中文在线视频,国产亚洲午夜啪啪,亚洲欧美另类国产精品,国产成人av1,任你艹在线观看

壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統(tǒng)中的應(yīng)用

知輪科技, 尤佳迪

2024-03-05 /

小T導(dǎo)讀:隨著知輪智慧輪胎系統(tǒng)的不斷升級迭代,數(shù)據(jù)規(guī)模也在不斷增長,內(nèi)外部人員對智慧系統(tǒng)整體業(yè)務(wù)響應(yīng)速度和穩(wěn)定性要求變得更高。為了滿足這一需求,該項目團(tuán)隊決定應(yīng)用 TDengine 替換原有的 Elasticsearch 檢索分析引擎,本文就 TDengine 的應(yīng)用情況、改造效果等進(jìn)行了全面分析,給到大家參考。

知輪(杭州)科技有限公司隸屬于中策橡膠集團(tuán),是一家專注為商用車客戶提供輪胎數(shù)字化解決方案以及輪胎新零售、移動救援的互聯(lián)網(wǎng)科技公司。我們以輪胎為核心,致力于幫助用戶在車輛行駛過程中更好地應(yīng)對輪胎購買和使用、輪胎故障救援以及輪胎安全預(yù)警等三個關(guān)鍵場景下的一系列問題。

以下是知輪科技三大服務(wù)場景:

壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統(tǒng)中的應(yīng)用 - TDengine Database 時序數(shù)據(jù)庫
壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統(tǒng)中的應(yīng)用 - TDengine Database 時序數(shù)據(jù)庫
壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統(tǒng)中的應(yīng)用 - TDengine Database 時序數(shù)據(jù)庫

項目選型背景

知輪智慧輪胎系統(tǒng)(簡稱 VTIS 系統(tǒng))經(jīng)過近年的不斷升級迭代,數(shù)據(jù)規(guī)模不斷增長。特別是最近兩年,隨著知輪智租系統(tǒng)車輛和某國內(nèi)快遞車隊全國快遞車輛等相關(guān)系統(tǒng)的接入,外部客戶和內(nèi)部人員對智慧系統(tǒng)整體業(yè)務(wù)響應(yīng)延遲變得更為敏感,對系統(tǒng)穩(wěn)定性的要求也變得更高。

而知輪 VTIS 系統(tǒng)先前采用的是 Elasticsearch 檢索分析引擎,其無論在產(chǎn)品選型、應(yīng)用場景還是開發(fā)迭代效率方面,都無法滿足數(shù)據(jù)量不斷增加的需求??紤]到數(shù)據(jù)特點(diǎn)和處理需求,我們決定選擇更專業(yè)的物聯(lián)網(wǎng)和車聯(lián)網(wǎng)時序數(shù)據(jù)庫(Time Series Database)來滿足系統(tǒng)的要求。

通過各類選型調(diào)研后,最終我們選擇應(yīng)用 TDengine 作為 VTIS 系統(tǒng)的時序數(shù)據(jù)庫。主要有以下幾方面的考量:

  • 業(yè)務(wù)適配性:TDengine 符合 VTIS 系統(tǒng)物聯(lián)網(wǎng) + 車聯(lián)網(wǎng)特性。
  • 運(yùn)維成本:TDengine Enterprise(企業(yè)版)由濤思數(shù)據(jù)提供 24 小時專人運(yùn)維服務(wù),運(yùn)維成本顯著降低。
  • 數(shù)據(jù)壓縮率:時序列式存儲促成了 TDengine 超高的數(shù)據(jù)壓縮比,結(jié)合數(shù)據(jù)重整功能,實測數(shù)據(jù)相比 Elasticsearch 數(shù)據(jù)壓縮比超過 1:10,為企業(yè)節(jié)省了更多的服務(wù)器磁盤費(fèi)用。
  • 讀寫性能優(yōu)異:對于時序數(shù)據(jù)來說 TDengine 的寫入性能極高,實測 3 節(jié)點(diǎn)高效云盤寫入速度可達(dá) 30W 測點(diǎn)每秒。數(shù)據(jù)讀取性能也表現(xiàn)的很優(yōu)異,針對相同時序數(shù)據(jù)量,其讀取速率 10 倍于原有的 Elasticsearch 引擎。
  • TDengine 具有低服務(wù)器資源占用率、高可用性和穩(wěn)定性的特點(diǎn)。它支持用戶自定義函數(shù)(UDF)算法集成,并提供各類數(shù)學(xué)算法的支持。
  • 冷熱分離:TDengine 提供多級存儲,對歷史數(shù)據(jù)可全自動遷移低頻低價存儲介質(zhì)中進(jìn)行存儲,降低企業(yè)數(shù)據(jù)存儲費(fèi)用。
  • 車企接入率高:針對公司所屬行業(yè)合作對接情況,結(jié)合濤思數(shù)據(jù)官網(wǎng)各類落地案例,TDengine 在快遞物流行業(yè)、物聯(lián)網(wǎng)行業(yè)均有較高接入率,能夠為公司后續(xù)商業(yè)發(fā)展提供更友好的數(shù)據(jù)支持。

業(yè)務(wù)架構(gòu) & 經(jīng)驗分享

目前該項目上使用的是 TDengine 3.1.1.11 企業(yè)版的 3 節(jié)點(diǎn)集群,單臺配置為 16 核 CPU + 64GB 內(nèi)存 + 3TB 高效云盤。數(shù)據(jù)整體流向架構(gòu)圖(簡化)如下所示:

壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統(tǒng)中的應(yīng)用 - TDengine Database 時序數(shù)據(jù)庫

以車輛實時胎溫胎壓數(shù)據(jù)采集為例。邊緣網(wǎng)關(guān)一般會每隔一定時間(秒級)采集胎溫胎壓數(shù)據(jù),其中包括胎溫、胎壓、漏氣情況等數(shù)據(jù),通過邊緣計算進(jìn)行首次數(shù)據(jù)整合、比對預(yù)警閾值后,網(wǎng)關(guān)一般情況下以 3 分鐘(報警時秒級)間隔通過 TCP 鏈接 + 私有協(xié)議將數(shù)據(jù)發(fā)送至 VTIS 云平臺 Netty 網(wǎng)關(guān)。

實時流數(shù)據(jù)經(jīng) VTIS Netty 網(wǎng)關(guān)服務(wù)后依次執(zhí)行數(shù)據(jù)解碼、流數(shù)據(jù)實時分析、預(yù)警推送、數(shù)據(jù)整合等步驟后批量寫入 TDengine 中。需要注意的是,TDengine 寫入需保持單子表順序?qū)懭氲囊?guī)則,因此寫入前的數(shù)據(jù)順序重整很有必要,這可以減少數(shù)據(jù)空洞的產(chǎn)生。

基于 TDengine 一個設(shè)備采集點(diǎn)一張子表的建模思路,在濤思數(shù)據(jù)交付團(tuán)隊協(xié)助下,我們建立了車輛胎溫胎壓數(shù)據(jù)的庫表結(jié)構(gòu)大致如下(簡化):

壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統(tǒng)中的應(yīng)用 - TDengine Database 時序數(shù)據(jù)庫

列設(shè)計-采集量:

壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統(tǒng)中的應(yīng)用 - TDengine Database 時序數(shù)據(jù)庫

列設(shè)計-狀態(tài)量:

壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統(tǒng)中的應(yīng)用 - TDengine Database 時序數(shù)據(jù)庫

標(biāo)簽設(shè)計:

壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統(tǒng)中的應(yīng)用 - TDengine Database 時序數(shù)據(jù)庫

上述數(shù)據(jù)保存時間為 180 天,數(shù)據(jù)文件切分跨度 1 天,由于單車輛存在多輪位同時刻胎溫胎壓數(shù)據(jù),我們便以時間戳后六位對數(shù)據(jù)進(jìn)行區(qū)分。此外,通過 TDengine 提供的各類原有函數(shù)配合用戶自定義函數(shù),我們編寫了基于時序的算法配合實時流計算(如即時態(tài)勢溫度感知),以此提高預(yù)警效率和及時性,減少誤報情況的發(fā)生。

運(yùn)行情況 & 改造效果

項目上線后穩(wěn)定運(yùn)行至今,資源占用率平穩(wěn)。對比原有的 Elasticsearch,TDengine 存儲時序數(shù)據(jù)存在明顯的優(yōu)勢,主要表現(xiàn)在如下幾點(diǎn):

  • 磁盤占用

Elasticsearch:基于 Lucene 內(nèi)部以 JSON 格式存儲,數(shù)據(jù)壓縮率低,磁盤占用率高;

TDengine:時序列式存儲,同一設(shè)備隨時間數(shù)據(jù)變化不大,壓縮率極高,相比 Elasticsearch 有 10 倍左右的壓縮比,磁盤占用率低。

  • 內(nèi)存占用(單節(jié)點(diǎn)內(nèi)存配置皆為 64GB)

Elasticsearch:內(nèi)存占用量 4 個節(jié)點(diǎn)皆在 54GB 以上;

壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統(tǒng)中的應(yīng)用 - TDengine Database 時序數(shù)據(jù)庫

TDengine:內(nèi)存占用量 3 個節(jié)點(diǎn)皆僅在 4GB 左右。

壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統(tǒng)中的應(yīng)用 - TDengine Database 時序數(shù)據(jù)庫

此外,TDengine 還具有如下優(yōu)點(diǎn):

  • 數(shù)據(jù)讀寫性能強(qiáng)大:對于時序數(shù)據(jù)的順序?qū)懭胨俾蕵O快 ,時間范圍查詢效率極高。
  • 復(fù)雜時序運(yùn)算:通過 TDengine 的 UDF(用戶自定函數(shù))功能,方便 VTIS 系統(tǒng)后續(xù)進(jìn)行時序態(tài)勢胎溫實時流計算和其他復(fù)雜時序數(shù)據(jù)的實時計算。復(fù)雜運(yùn)算不影響整體集群穩(wěn)定性和時延。
  • 數(shù)據(jù)訂閱服務(wù):利用 TDengine 的數(shù)據(jù)訂閱功能,將數(shù)據(jù)實時導(dǎo)入阿里云 MaxCompute 大數(shù)據(jù)倉庫,實現(xiàn)近實時的數(shù)據(jù)可視化分析和模型建立。

第三方平臺可以利用 TDengine 的數(shù)據(jù)訂閱功能實現(xiàn)數(shù)據(jù)便捷流轉(zhuǎn),便于知輪科技與各家快遞物流、車企、公交集團(tuán)等進(jìn)行數(shù)據(jù)對接。未來希望 TDengine 能增加更多便于運(yùn)維的功能,比如無阻塞的數(shù)據(jù)重整、數(shù)據(jù)慢查詢隔離池等。

可視化與未來

在車輛胎溫胎壓監(jiān)控領(lǐng)域的可視化中,展示信息的完整性、實時性、可交互性和靈活性至關(guān)重要。TDengine 提供高效的查詢能力和簡單易用的 SQL 語句,能輕松實現(xiàn)這些需求。通過網(wǎng)頁展示工具調(diào)用 TDengine 的 SQL,我們成功創(chuàng)建了展示各類車輛預(yù)警事件的主看板,為車隊集團(tuán)的運(yùn)營決策提供重要支持。

壓縮率十倍于 Elasticsearch,TDengine 在知輪科技智慧輪胎系統(tǒng)中的應(yīng)用 - TDengine Database 時序數(shù)據(jù)庫

以上是 TDengine 3.0 在輪胎智能預(yù)警領(lǐng)域的應(yīng)用案例,類似的需求也存在于快遞物流、公共交通、港口碼頭等多個輪胎應(yīng)用場景中。隨著智能化的不斷演進(jìn),知輪科技的 VTIS 系統(tǒng)將通過采用 TDengine 在未來扮演更加重要的角色。

作者簡介:尤佳迪,知輪(杭州)科技有限公司,負(fù)責(zé) VTIS 系統(tǒng)物聯(lián)網(wǎng)平臺業(yè)務(wù)。