小 T 導(dǎo)讀：在 TDengine 平穩(wěn)運(yùn)行的數(shù)周時(shí)間里，中天鋼鐵的新系統(tǒng)平均每周收錄 3000 多輛車輛表與 100 多條船只表，每張表中數(shù)據(jù)或多或少，累計(jì)數(shù)量已達(dá)百萬，業(yè)務(wù)的實(shí)際效果也達(dá)到了預(yù)期。本文分享了他們對(duì)于新項(xiàng)目的數(shù)據(jù)庫選型、應(yīng)用的思考，同時(shí)也進(jìn)行了業(yè)務(wù)效果分析。

為了滿足業(yè)務(wù)發(fā)展需求，我們需要新開發(fā)一套功能，對(duì)廠內(nèi)每輛運(yùn)輸車輛的實(shí)時(shí) GPS 位置進(jìn)行追蹤，通過大數(shù)據(jù)平臺(tái)對(duì) GPS 坐標(biāo)進(jìn)行處理、分析、可視化展示。同時(shí)也需要對(duì)公司貨運(yùn)船只進(jìn)行實(shí)時(shí)監(jiān)控，運(yùn)用 GPS 平臺(tái)的分析處理能力對(duì)船只的航運(yùn)軌跡進(jìn)行預(yù)判，計(jì)算其是否偏離航線。這些 GPS 數(shù)據(jù)來自于中天云商 App，只要運(yùn)輸車輛司機(jī)打開云商 App，系統(tǒng)每隔 10 秒會(huì)自動(dòng)發(fā)送該車輛 GPS 信號(hào)到大數(shù)據(jù)平臺(tái)，再由大數(shù)據(jù)平臺(tái)分析處理。

數(shù)據(jù)處理路徑主要為，大數(shù)據(jù)平臺(tái)將 ERP 中關(guān)聯(lián)過合同的 MMSI 信息同步到 GPS 平臺(tái)，由 GPS 平臺(tái)挑選出 300 條船舶的 MMSI 同步至船達(dá)通平臺(tái)，同時(shí)將接收數(shù)據(jù)接口地址發(fā)送到船達(dá)通平臺(tái)，船達(dá)通平臺(tái)會(huì)根據(jù) MMSI 編號(hào)以及推送地址，每隔 10 分鐘將該船只的最新位置以及動(dòng)靜態(tài)信息推送至 GPS 平臺(tái)?；诖?，調(diào)研到一個(gè)合適的數(shù)據(jù)庫，對(duì)于實(shí)現(xiàn)項(xiàng)目的數(shù)據(jù)處理需求至關(guān)重要。

關(guān)于數(shù)據(jù)庫選型調(diào)研的思考

本質(zhì)上來講，行車記錄、行船記錄都是時(shí)序數(shù)據(jù)，天然帶有時(shí)間戳，這些時(shí)序數(shù)據(jù)到達(dá)服務(wù)器時(shí)都是有序遞增的，且時(shí)序數(shù)據(jù)的特點(diǎn)是流量平穩(wěn)卻非常巨大，這點(diǎn)和電商數(shù)據(jù)不太一樣，比如雙十一時(shí)電商數(shù)據(jù)會(huì)出現(xiàn)陡增，平常卻沒有那么高流量。作為典型的時(shí)序數(shù)據(jù)，車聯(lián)網(wǎng)數(shù)據(jù)每隔 10 秒或 10 分鐘發(fā)送一條，相對(duì)固定，在調(diào)研時(shí)我們發(fā)現(xiàn)，TDengine “一輛車一張表”的模型很契合這一場(chǎng)景。

同時(shí)，時(shí)序數(shù)據(jù)在查詢時(shí)要匹配特定的時(shí)間線或數(shù)據(jù)標(biāo)簽，且實(shí)時(shí)狀態(tài)查詢、數(shù)據(jù)降精度、整體趨勢(shì)分析較多，普通數(shù)據(jù)庫無法提供這種函數(shù)?；凇耙惠v車一張表”這樣的設(shè)計(jì)，TDengine 能夠?qū)崿F(xiàn)任何一臺(tái)設(shè)備采集的數(shù)據(jù)，在存儲(chǔ)介質(zhì)里都是一塊一塊連續(xù)存放的，且按照時(shí)間排序，保證了在查詢單個(gè)設(shè)備一個(gè)時(shí)間段的數(shù)據(jù)時(shí)，查詢性能能夠有數(shù)量級(jí)的提升。

另外一方面，雖然不同設(shè)備由于網(wǎng)絡(luò)的原因，到達(dá)服務(wù)器的時(shí)間無法控制，是完全亂序的，但對(duì)于同一個(gè)設(shè)備而言，數(shù)據(jù)點(diǎn)的時(shí)序卻是可以保證的。“一個(gè)設(shè)備一張表”就保證了一張表插入的數(shù)據(jù)是有時(shí)序保證的，這樣一來數(shù)據(jù)插入操作就變成了一個(gè)簡(jiǎn)單地追加操作，插入性能也有了大幅度提升。

在壓縮性能上，通過下表幾家 Database 的對(duì)比，也可看出 TDengine 的優(yōu)秀：

同時(shí) TDengine 針對(duì)同類型設(shè)備間的聚合問題，創(chuàng)新性地提出超級(jí)表的概念，讓多設(shè)備間的聚合變得靈活方便，也讓實(shí)時(shí)數(shù)據(jù)大屏顯示、監(jiān)測(cè)設(shè)備分類管理變得極其簡(jiǎn)單。總結(jié)而言，TDengine 針對(duì)時(shí)序數(shù)據(jù)的寫入、存儲(chǔ)、索引、查詢等方面都進(jìn)行了特定的優(yōu)化，從而實(shí)現(xiàn)了更優(yōu)的數(shù)據(jù)加載、壓縮、查詢、寫入性能，非常匹配工業(yè)傳感器數(shù)據(jù)的應(yīng)用分析場(chǎng)景。

雖然接入設(shè)備繁多，但 TDengine 兼容性很強(qiáng)，寫入、讀取和統(tǒng)計(jì)效率也大大高于其他同類型數(shù)據(jù)庫。對(duì)比 InfluxDB 來看，其測(cè)試數(shù)據(jù)顯示如下：

為了評(píng)估不同長(zhǎng)度的時(shí)間窗口對(duì)查詢性能的影響，我們選取了第四個(gè)查詢場(chǎng)景，設(shè)定并行執(zhí)行的 work 數(shù)量 16， 時(shí)間區(qū)間是隨機(jī)選取的 1h / 2h / 4h / 8h / 12h 等連續(xù)時(shí)間段，單個(gè)聚合時(shí)間窗口維持在 1min 不變。獲得的查詢響應(yīng)時(shí)間如下所示：

平臺(tái)架構(gòu)的實(shí)現(xiàn)

下圖是我們的數(shù)據(jù)處理路徑圖，數(shù)據(jù)通過中天云商、船達(dá)通平臺(tái)將數(shù)據(jù)抽到 GPS 平臺(tái)，通過 GPS 平臺(tái)分析處理后將數(shù)據(jù)存入數(shù)據(jù)倉庫（TDengine）。

基于 TDengine，GPS 平臺(tái)會(huì)對(duì)實(shí)時(shí)獲取的 GPS 數(shù)據(jù)以及 AIS 數(shù)據(jù)進(jìn)行分析處理和存儲(chǔ)，再通過每輛車、每條船對(duì)應(yīng)的表，實(shí)現(xiàn)車輛船只軌跡可視化。

根據(jù)業(yè)務(wù)不同，我們創(chuàng)建了兩張超級(jí)表，分別為車超級(jí)表與船超級(jí)表。超級(jí)表是具有溝通的 Schema 共同元數(shù)據(jù)表的集合，可以認(rèn)為創(chuàng)建一個(gè)超級(jí)表，它下面能夠再次創(chuàng)建很多子表，對(duì)超級(jí)表的查詢相當(dāng)于作用到它下面所有的子表。

比如當(dāng)你要查一個(gè)超級(jí)表的平均值，假設(shè)它下面有 100 萬張表，我就相當(dāng)于對(duì)這 100 萬張表做了查詢，這樣用一個(gè)超級(jí)表就解決了這個(gè)問題。每新增一條信息則依照對(duì)應(yīng)載具信息新建子表或者在已有子表中插入最新數(shù)據(jù)。

測(cè)試與查詢

目前 TDengine 在我們的生產(chǎn)環(huán)境中運(yùn)行平穩(wěn)，通過對(duì)生產(chǎn)環(huán)境的機(jī)器進(jìn)行檢測(cè)，CPU 使用率平常不到 1%，內(nèi)存使用率穩(wěn)定在 25%。下圖為集群中一臺(tái)機(jī)器的監(jiān)控圖表：

在 TDengine 平穩(wěn)運(yùn)行的數(shù)周時(shí)間里，中天鋼鐵的新系統(tǒng)平均每周收錄 3000 多輛車輛表與 100 多條船只表，每張表中數(shù)據(jù)或多或少，累計(jì)數(shù)量已達(dá)百萬，業(yè)務(wù)的實(shí)際效果也達(dá)到了預(yù)期。

現(xiàn)在可以根據(jù)車輛車牌號(hào)、需要查詢的時(shí)間區(qū)間來可視化車輛軌跡。在數(shù)據(jù)庫中存儲(chǔ)上車輛信息時(shí)間、經(jīng)緯度、車牌信息，在展示頁面中就會(huì)實(shí)時(shí)顯示當(dāng)前廠內(nèi)所有提貨車輛的最新位置（前提是必須保持中天云商處于打開狀態(tài)），當(dāng)車輛提貨出廠后，則不再發(fā)送 GPS 信息，系統(tǒng)會(huì)將該車輛判斷為離線狀態(tài)，不再顯示。或者當(dāng)司機(jī)異常關(guān)閉中天云商超過 8 個(gè)小時(shí)，系統(tǒng)也將視該車輛為離線，從屏幕顯示中去除，直到重新接收到 GPS 信號(hào)。

根據(jù)船舶名稱、需要查詢的時(shí)間區(qū)間，就可以查詢?cè)撍掖坏臍v史 AIS 軌跡圖，如果有的船只中途異常關(guān)閉 AIS 信息發(fā)送裝置，則系統(tǒng)無法接收到該船只的 AIS，展示的歷史軌跡中則會(huì)出現(xiàn)間斷。船只 AIS 信息永久保存在 TDengine 庫中，在其中可以查詢?nèi)我鈺r(shí)間段內(nèi)的 AIS 軌跡。

未來規(guī)劃

本次在中天鋼鐵 GPS 平臺(tái)車輛調(diào)度中使用了 TDengine，我們發(fā)現(xiàn)它不僅性能高效，在設(shè)計(jì)上也很人性化，其支持的 SQL 查詢語句，讓人無需學(xué)習(xí)就能立刻上手。再就是關(guān)于 TDengine 在監(jiān)控領(lǐng)域的應(yīng)用，監(jiān)控?zé)o非是做一個(gè)數(shù)據(jù)的存儲(chǔ)，數(shù)據(jù)庫的存儲(chǔ)性能相當(dāng)重要，TDengine 表現(xiàn)很突出。

總而言之，TDengine 的應(yīng)用真正讓車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、運(yùn)維監(jiān)測(cè)大數(shù)據(jù)平臺(tái)的搭建變得簡(jiǎn)單，不僅降低硬件成本、運(yùn)維成本，還能大幅降低對(duì)研發(fā)和運(yùn)維人員的需求。后續(xù)我們也會(huì)繼續(xù)分享 TDengine 的更多應(yīng)用場(chǎng)景和實(shí)踐經(jīng)驗(yàn)等，給到大家參考。

當(dāng)然，對(duì)于 TDengine 我們也有一些建議，希望它能夠發(fā)展地越來越好：

1. 支持更加豐富的 SQL 語句：能夠針對(duì)特有的場(chǎng)景，提供更加靈活的 SQL 語句，便于做更加復(fù)雜的計(jì)算分析，這也是 AIOps 的進(jìn)階部分。
2. 子表自動(dòng)清理功能：由于域名會(huì)存在下線問題，目前的 TTL 策略只是針對(duì)數(shù)據(jù)而不是 Table 本身，淘汰子表還需要人工運(yùn)維介入。
3. 現(xiàn)在 TDengine 對(duì)于數(shù)據(jù)的更新只有相同時(shí)間戳覆蓋這種辦法，希望能提供數(shù)據(jù)刪除功能（小T提示：TDengine 2.6 企業(yè)版已經(jīng)提供刪除功能 ??點(diǎn)擊鏈接文章看詳情）。
4. 提供簡(jiǎn)潔易操作的可視化界面，如 Navicat 之于 MySQL。