大數(shù)據(jù)有很多處理工具，最流行的當(dāng)屬Hadoop系統(tǒng)。Hadoop生態(tài)包括HDFS、HBase、Hive、YARN、Storm、Spark和Zookeeper等系列工具。整個(gè)大數(shù)據(jù)平臺(tái)中往往還有Kafka, Redis等類似的消息隊(duì)列、緩存軟件。這些軟件較好的解決了通用大數(shù)據(jù)問(wèn)題，但是物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)等場(chǎng)景的數(shù)據(jù)有其獨(dú)特性，如果充分利用這些獨(dú)特之處，可以推出一個(gè)專有的物聯(lián)網(wǎng)大數(shù)據(jù)處理平臺(tái)，數(shù)量級(jí)的提升數(shù)據(jù)處理能力，并減少研發(fā)和運(yùn)維成本。剛剛開源的TDengine就是這樣的產(chǎn)品。

TDengine專為物聯(lián)網(wǎng)、車聯(lián)網(wǎng)等時(shí)序空間大數(shù)據(jù)設(shè)計(jì)，其核心功能是時(shí)序數(shù)據(jù)庫(kù)（Time-Series Database）。但為減少大數(shù)據(jù)平臺(tái)的研發(fā)和運(yùn)維的復(fù)雜度，更進(jìn)一步降低計(jì)算資源，TDengine還提供大數(shù)據(jù)處理所需要的消息隊(duì)列、消息訂閱、緩存、流式計(jì)算等功能。TDengine的優(yōu)勢(shì)十分明顯，主要表現(xiàn)在以下幾個(gè)方面。

1: 大幅提升數(shù)據(jù)插入和查詢性能

物聯(lián)網(wǎng)的數(shù)據(jù)是結(jié)構(gòu)化的，因此TDengine采取的是結(jié)構(gòu)化存儲(chǔ)，而不是流行的KV存儲(chǔ)。物聯(lián)網(wǎng)場(chǎng)景里，每個(gè)數(shù)據(jù)采集點(diǎn)的數(shù)據(jù)源是唯一的，數(shù)據(jù)是時(shí)序的，而且用戶關(guān)心的往往是一個(gè)時(shí)間段的數(shù)據(jù)，而不是某個(gè)特殊時(shí)間點(diǎn)?；谶@些特點(diǎn)，TDengine要求對(duì)每個(gè)采集設(shè)備單獨(dú)建表。如果有1000萬(wàn)個(gè)設(shè)備，就需要建1000萬(wàn)張表。

基于這樣的設(shè)計(jì)，任何一臺(tái)設(shè)備采集的數(shù)據(jù)在存儲(chǔ)介質(zhì)里可以是一塊一塊連續(xù)的存放的，而且按照時(shí)間排序。因此查詢單個(gè)設(shè)備一個(gè)時(shí)間段的數(shù)據(jù)，查詢性能就有數(shù)量級(jí)的提升。另外一方面，雖然不同設(shè)備由于網(wǎng)絡(luò)的原因，到達(dá)服務(wù)器的時(shí)間無(wú)法控制，是完全亂序的，但對(duì)于同一個(gè)設(shè)備而言，數(shù)據(jù)點(diǎn)的時(shí)序是保證的。一個(gè)設(shè)備一張表，就保證了一張表插入的數(shù)據(jù)是有時(shí)序保證的，這樣數(shù)據(jù)插入操作就變成了一個(gè)簡(jiǎn)單的追加操作，插入性也能大幅度提高。

KV存儲(chǔ)的好處是不用定義數(shù)據(jù)庫(kù)表結(jié)構(gòu),每條記錄都可以變換格式。但物聯(lián)網(wǎng)、車聯(lián)網(wǎng)這些場(chǎng)景里，一般數(shù)據(jù)格式是固定的，改動(dòng)的頻次很低，而且TDengine實(shí)現(xiàn)了一種高效的修改表結(jié)構(gòu)的方法，因此TDengine采取格式化存儲(chǔ)不會(huì)帶來(lái)太大的不便。

2: 大幅降低硬件或云服務(wù)成本：

由于數(shù)據(jù)插入查詢性能大幅度提升，系統(tǒng)所需要的計(jì)算資源就大幅減少。另外一方面，物聯(lián)網(wǎng)采集的物理量的值是隨時(shí)間改變的，但正常情況下，是漸變的，因此TDengine采取列式存儲(chǔ)，將同一個(gè)物理量在多個(gè)時(shí)間點(diǎn)采集的值連續(xù)存放，這樣能成倍的提高壓縮效率。而且TDengine針對(duì)不同的數(shù)據(jù)類型采取不同的壓縮方法，比如delta-delta 編碼、simple 8B方法、zig-zag等等，這樣更進(jìn)一步的提高壓縮率。與通用數(shù)據(jù)庫(kù)相比，在已經(jīng)測(cè)試過(guò)的物聯(lián)網(wǎng)場(chǎng)景中，TDengine存儲(chǔ)空間不到1/5,大幅節(jié)省存儲(chǔ)資源。在TDengine公布的對(duì)比測(cè)試報(bào)告里，有如下的結(jié)果：

3: 大幅簡(jiǎn)化大數(shù)據(jù)系統(tǒng)架構(gòu)

與互聯(lián)網(wǎng)應(yīng)用不一樣的是，物聯(lián)網(wǎng)場(chǎng)景中，只要指定聯(lián)網(wǎng)設(shè)備數(shù)量，數(shù)據(jù)采集頻次，系統(tǒng)所需要的流量是可較為準(zhǔn)確估算出來(lái)的，不像雙11,電商的流量可以幾十倍的變化，而物聯(lián)網(wǎng)的流量是較為平穩(wěn)的。同時(shí)，物聯(lián)網(wǎng)設(shè)備都有一定的數(shù)據(jù)緩存能力，以防止網(wǎng)絡(luò)連接失敗，因此物聯(lián)網(wǎng)平臺(tái)對(duì)消息隊(duì)列的需求沒有那么強(qiáng)烈。TDengine內(nèi)部實(shí)現(xiàn)了一簡(jiǎn)單的消息隊(duì)列，同時(shí)提供訂閱功能，這樣就不需要使用Kafka等類似的消息隊(duì)列軟件。

TDengine對(duì)數(shù)據(jù)庫(kù)分配了固定的內(nèi)存區(qū)域，新插入的數(shù)據(jù)，會(huì)先寫入內(nèi)存。內(nèi)存按照先進(jìn)先出的原則進(jìn)行管理，內(nèi)存不足時(shí)，老的數(shù)據(jù)會(huì)被持久化存儲(chǔ)，而內(nèi)存里的老數(shù)據(jù)會(huì)被最新的覆蓋掉。TDengine還保證了任何一臺(tái)設(shè)備最后一條記錄一定在內(nèi)存中，如果應(yīng)用要獲取每個(gè)設(shè)備的最新數(shù)據(jù)或狀態(tài)，都將從內(nèi)存里直接獲取，這樣的設(shè)計(jì)讓系統(tǒng)可以不再需要Redis這類軟件。

物聯(lián)網(wǎng)數(shù)據(jù)是一個(gè)流數(shù)據(jù)，基于滑動(dòng)窗口，TDengine后臺(tái)定時(shí)的拉起查詢計(jì)算，提供了一簡(jiǎn)化的流式計(jì)算，可以做各種實(shí)時(shí)的統(tǒng)計(jì)聚合操作，這樣對(duì)于一般的物聯(lián)網(wǎng)場(chǎng)景，不再需要使用Spark等類型的流式計(jì)算軟件。

因此TDengine提供了大數(shù)據(jù)處理所需要的數(shù)據(jù)庫(kù)、緩存、消息隊(duì)列、流式計(jì)算等系列功能。使用TDengine，在物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)中完全可以拋棄掉Kafka、HDFS、HBase、Spark和Redis等軟件，大幅簡(jiǎn)化大數(shù)據(jù)平臺(tái)的設(shè)計(jì)，降低研發(fā)成本大，而且系統(tǒng)將更加健壯，數(shù)據(jù)的一致性更有保證。

4: 強(qiáng)大的歷史數(shù)據(jù)分析能力：

TDengine設(shè)計(jì)上讓用戶對(duì)歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)的處理完全透明，不區(qū)分歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)。用戶只需要在SQL語(yǔ)句里指定時(shí)間段，TDengine自動(dòng)決定是否從內(nèi)存、從本地硬盤，還是從網(wǎng)絡(luò)存儲(chǔ)上獲取數(shù)據(jù),這樣應(yīng)用的實(shí)現(xiàn)變的簡(jiǎn)單。

每個(gè)設(shè)備的數(shù)據(jù)按塊存儲(chǔ)，而且每個(gè)數(shù)據(jù)塊都已經(jīng)做了預(yù)聚合（比如和、最大、最小值等），這樣執(zhí)行一個(gè)設(shè)備一個(gè)時(shí)間段的各種統(tǒng)計(jì)操作，有可能不用掃描原始數(shù)據(jù)，就能計(jì)算出來(lái)，性能大幅提升。即使有的計(jì)算需要掃描原始數(shù)據(jù)，但由于數(shù)據(jù)是一塊一塊連續(xù)存儲(chǔ)的，讀取速度遠(yuǎn)超通用數(shù)據(jù)庫(kù)，計(jì)算分析速度也是大幅提升。而且由于結(jié)構(gòu)化存儲(chǔ)，解壓后，不用做任何解析，讀進(jìn)內(nèi)存就可以直接計(jì)算，相對(duì)于NoSQL數(shù)據(jù)庫(kù)，計(jì)算分析速度也是大幅提升。

TDengine定義了一新的概念——超級(jí)表（STable），用以描述同一類型的設(shè)備。給每個(gè)設(shè)備或表打上靜態(tài)標(biāo)簽后，就可以用標(biāo)簽值篩出一部分滿足過(guò)濾條件的設(shè)備，然后對(duì)這一部分設(shè)備的數(shù)據(jù)進(jìn)行聚合。TDengine還設(shè)計(jì)了一特殊的機(jī)制，對(duì)于多個(gè)設(shè)備數(shù)據(jù)聚合，僅僅需要掃描一次數(shù)據(jù)文件，這樣大幅減少IO操作次數(shù)，提高聚合計(jì)算速度。為提高易用性，用戶可以通過(guò)TDengine自帶的shell，或者Python、R、Matlab等工具直接進(jìn)行各種Ad Hoc的查詢或分析。TDengine用來(lái)做物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)的數(shù)據(jù)倉(cāng)庫(kù)，會(huì)是一個(gè)理想的選擇。

5: 零運(yùn)維管理，零學(xué)習(xí)成本

TDengine 安裝包不到10M，下載、安裝幾秒鐘搞定。對(duì)于企業(yè)版，把一臺(tái)機(jī)器加入集群一條命令就能完成，而且數(shù)據(jù)庫(kù)是實(shí)時(shí)自動(dòng)備份，不用手動(dòng)分庫(kù)分表，運(yùn)維極其簡(jiǎn)單。系統(tǒng)使用標(biāo)準(zhǔn)的SQL，支持C/C++、Java、Python和Go等各種語(yǔ)言開發(fā)接口，支持JDBC，支持RESTful接口。使用起來(lái)象是在使用MySQL，幾乎不需要學(xué)習(xí)成本。

6: 與第三方工具無(wú)縫集成

目前TDengine在數(shù)據(jù)采集側(cè)，已經(jīng)支持Telegraf、Kafka，后續(xù)還將支持MQTT、OPC等。在應(yīng)用側(cè)，已經(jīng)支持Grafana可視化工具，支持Matlab、R以及一些BI工具。因?yàn)門Dengine支持JDBC接口，很容易實(shí)現(xiàn)與第三方工具的接口，可以預(yù)見，更多的工具將會(huì)被無(wú)縫集成。

對(duì)于運(yùn)維監(jiān)測(cè)場(chǎng)景，不用寫任何代碼，只要將開源的Telegraf、Grafana與TDengine配置好，就可以迅速搭建一個(gè)高效的運(yùn)維監(jiān)測(cè)平臺(tái)。

7: 開源

TDengine由北京濤思數(shù)據(jù)技術(shù)有限公司自主開發(fā)，沒有依賴任何第三方軟件。研發(fā)時(shí)間已經(jīng)超過(guò)2年，而且已經(jīng)有一批付費(fèi)商業(yè)客戶，涉及電力、數(shù)控機(jī)床、智慧城市、車輛網(wǎng)等多個(gè)領(lǐng)域，客戶的使用反饋都很不錯(cuò)?？上驳氖牵瑵紨?shù)據(jù)將TDengine的核心存儲(chǔ)、計(jì)算引擎完全開源。TDengine的社區(qū)版完全能滿足一定規(guī)模的物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)的應(yīng)用需求。因?yàn)闈紨?shù)據(jù)核心團(tuán)隊(duì)就在北京，相比其他開源軟件，應(yīng)該能夠給中國(guó)的軟件工程師提供更好的本地服務(wù)。

結(jié)語(yǔ)

TDengine在易用性、功能上、性能上已經(jīng)遠(yuǎn)超其他時(shí)序數(shù)據(jù)庫(kù)。采用TDengine，物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、運(yùn)維監(jiān)測(cè)的大數(shù)據(jù)平臺(tái)的搭建變得極為簡(jiǎn)單，具備超強(qiáng)性能，不僅降低硬件成本、運(yùn)維成本，還能大幅降低對(duì)研發(fā)和運(yùn)維人員的需求。

因?yàn)槭情_源免費(fèi)的，而且安裝包非常小，不妨訪問(wèn)tdengine.com下載一個(gè)試試。