大數(shù)據(jù)有很多處理工具，最流行的當屬Hadoop系統(tǒng)。Hadoop生態(tài)包括HDFS、HBase、Hive、YARN、Storm、Spark和Zookeeper等系列工具。整個大數(shù)據(jù)平臺中往往還有Kafka, Redis等類似的消息隊列、緩存軟件。這些軟件較好的解決了通用大數(shù)據(jù)問題，但是物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)等場景的數(shù)據(jù)有其獨特性，如果充分利用這些獨特之處，可以推出一個專有的物聯(lián)網(wǎng)大數(shù)據(jù)處理平臺，數(shù)量級的提升數(shù)據(jù)處理能力，并減少研發(fā)和運維成本。剛剛開源的TDengine就是這樣的產(chǎn)品。

TDengine專為物聯(lián)網(wǎng)、車聯(lián)網(wǎng)等時序空間大數(shù)據(jù)設計，其核心功能是時序數(shù)據(jù)庫（Time-Series Database）。但為減少大數(shù)據(jù)平臺的研發(fā)和運維的復雜度，更進一步降低計算資源，TDengine還提供大數(shù)據(jù)處理所需要的消息隊列、消息訂閱、緩存、流式計算等功能。TDengine的優(yōu)勢十分明顯，主要表現(xiàn)在以下幾個方面。

1: 大幅提升數(shù)據(jù)插入和查詢性能

物聯(lián)網(wǎng)的數(shù)據(jù)是結(jié)構(gòu)化的，因此TDengine采取的是結(jié)構(gòu)化存儲，而不是流行的KV存儲。物聯(lián)網(wǎng)場景里，每個數(shù)據(jù)采集點的數(shù)據(jù)源是唯一的，數(shù)據(jù)是時序的，而且用戶關(guān)心的往往是一個時間段的數(shù)據(jù)，而不是某個特殊時間點。基于這些特點，TDengine要求對每個采集設備單獨建表。如果有1000萬個設備，就需要建1000萬張表。

基于這樣的設計，任何一臺設備采集的數(shù)據(jù)在存儲介質(zhì)里可以是一塊一塊連續(xù)的存放的，而且按照時間排序。因此查詢單個設備一個時間段的數(shù)據(jù)，查詢性能就有數(shù)量級的提升。另外一方面，雖然不同設備由于網(wǎng)絡的原因，到達服務器的時間無法控制，是完全亂序的，但對于同一個設備而言，數(shù)據(jù)點的時序是保證的。一個設備一張表，就保證了一張表插入的數(shù)據(jù)是有時序保證的，這樣數(shù)據(jù)插入操作就變成了一個簡單的追加操作，插入性也能大幅度提高。

KV存儲的好處是不用定義數(shù)據(jù)庫表結(jié)構(gòu),每條記錄都可以變換格式。但物聯(lián)網(wǎng)、車聯(lián)網(wǎng)這些場景里，一般數(shù)據(jù)格式是固定的，改動的頻次很低，而且TDengine實現(xiàn)了一種高效的修改表結(jié)構(gòu)的方法，因此TDengine采取格式化存儲不會帶來太大的不便。

2: 大幅降低硬件或云服務成本：

由于數(shù)據(jù)插入查詢性能大幅度提升，系統(tǒng)所需要的計算資源就大幅減少。另外一方面，物聯(lián)網(wǎng)采集的物理量的值是隨時間改變的，但正常情況下，是漸變的，因此TDengine采取列式存儲，將同一個物理量在多個時間點采集的值連續(xù)存放，這樣能成倍的提高壓縮效率。而且TDengine針對不同的數(shù)據(jù)類型采取不同的壓縮方法，比如delta-delta 編碼、simple 8B方法、zig-zag等等，這樣更進一步的提高壓縮率。與通用數(shù)據(jù)庫相比，在已經(jīng)測試過的物聯(lián)網(wǎng)場景中，TDengine存儲空間不到1/5,大幅節(jié)省存儲資源。在TDengine公布的對比測試報告里，有如下的結(jié)果：

3: 大幅簡化大數(shù)據(jù)系統(tǒng)架構(gòu)

與互聯(lián)網(wǎng)應用不一樣的是，物聯(lián)網(wǎng)場景中，只要指定聯(lián)網(wǎng)設備數(shù)量，數(shù)據(jù)采集頻次，系統(tǒng)所需要的流量是可較為準確估算出來的，不像雙11,電商的流量可以幾十倍的變化，而物聯(lián)網(wǎng)的流量是較為平穩(wěn)的。同時，物聯(lián)網(wǎng)設備都有一定的數(shù)據(jù)緩存能力，以防止網(wǎng)絡連接失敗，因此物聯(lián)網(wǎng)平臺對消息隊列的需求沒有那么強烈。TDengine內(nèi)部實現(xiàn)了一簡單的消息隊列，同時提供訂閱功能，這樣就不需要使用Kafka等類似的消息隊列軟件。

TDengine對數(shù)據(jù)庫分配了固定的內(nèi)存區(qū)域，新插入的數(shù)據(jù)，會先寫入內(nèi)存。內(nèi)存按照先進先出的原則進行管理，內(nèi)存不足時，老的數(shù)據(jù)會被持久化存儲，而內(nèi)存里的老數(shù)據(jù)會被最新的覆蓋掉。TDengine還保證了任何一臺設備最后一條記錄一定在內(nèi)存中，如果應用要獲取每個設備的最新數(shù)據(jù)或狀態(tài)，都將從內(nèi)存里直接獲取，這樣的設計讓系統(tǒng)可以不再需要Redis這類軟件。

物聯(lián)網(wǎng)數(shù)據(jù)是一個流數(shù)據(jù)，基于滑動窗口，TDengine后臺定時的拉起查詢計算，提供了一簡化的流式計算，可以做各種實時的統(tǒng)計聚合操作，這樣對于一般的物聯(lián)網(wǎng)場景，不再需要使用Spark等類型的流式計算軟件。

因此TDengine提供了大數(shù)據(jù)處理所需要的數(shù)據(jù)庫、緩存、消息隊列、流式計算等系列功能。使用TDengine，在物聯(lián)網(wǎng)大數(shù)據(jù)平臺中完全可以拋棄掉Kafka、HDFS、HBase、Spark和Redis等軟件，大幅簡化大數(shù)據(jù)平臺的設計，降低研發(fā)成本大，而且系統(tǒng)將更加健壯，數(shù)據(jù)的一致性更有保證。

4: 強大的歷史數(shù)據(jù)分析能力：

TDengine設計上讓用戶對歷史數(shù)據(jù)和實時數(shù)據(jù)的處理完全透明，不區(qū)分歷史數(shù)據(jù)和實時數(shù)據(jù)。用戶只需要在SQL語句里指定時間段，TDengine自動決定是否從內(nèi)存、從本地硬盤，還是從網(wǎng)絡存儲上獲取數(shù)據(jù),這樣應用的實現(xiàn)變的簡單。

每個設備的數(shù)據(jù)按塊存儲，而且每個數(shù)據(jù)塊都已經(jīng)做了預聚合（比如和、最大、最小值等），這樣執(zhí)行一個設備一個時間段的各種統(tǒng)計操作，有可能不用掃描原始數(shù)據(jù)，就能計算出來，性能大幅提升。即使有的計算需要掃描原始數(shù)據(jù)，但由于數(shù)據(jù)是一塊一塊連續(xù)存儲的，讀取速度遠超通用數(shù)據(jù)庫，計算分析速度也是大幅提升。而且由于結(jié)構(gòu)化存儲，解壓后，不用做任何解析，讀進內(nèi)存就可以直接計算，相對于NoSQL數(shù)據(jù)庫，計算分析速度也是大幅提升。

TDengine定義了一新的概念——超級表（STable），用以描述同一類型的設備。給每個設備或表打上靜態(tài)標簽后，就可以用標簽值篩出一部分滿足過濾條件的設備，然后對這一部分設備的數(shù)據(jù)進行聚合。TDengine還設計了一特殊的機制，對于多個設備數(shù)據(jù)聚合，僅僅需要掃描一次數(shù)據(jù)文件，這樣大幅減少IO操作次數(shù)，提高聚合計算速度。為提高易用性，用戶可以通過TDengine自帶的shell，或者Python、R、Matlab等工具直接進行各種Ad Hoc的查詢或分析。TDengine用來做物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)的數(shù)據(jù)倉庫，會是一個理想的選擇。

5: 零運維管理，零學習成本

TDengine 安裝包不到10M，下載、安裝幾秒鐘搞定。對于企業(yè)版，把一臺機器加入集群一條命令就能完成，而且數(shù)據(jù)庫是實時自動備份，不用手動分庫分表，運維極其簡單。系統(tǒng)使用標準的SQL，支持C/C++、Java、Python和Go等各種語言開發(fā)接口，支持JDBC，支持RESTful接口。使用起來象是在使用MySQL，幾乎不需要學習成本。

6: 與第三方工具無縫集成

目前TDengine在數(shù)據(jù)采集側(cè)，已經(jīng)支持Telegraf、Kafka，后續(xù)還將支持MQTT、OPC等。在應用側(cè)，已經(jīng)支持Grafana可視化工具，支持Matlab、R以及一些BI工具。因為TDengine支持JDBC接口，很容易實現(xiàn)與第三方工具的接口，可以預見，更多的工具將會被無縫集成。

對于運維監(jiān)測場景，不用寫任何代碼，只要將開源的Telegraf、Grafana與TDengine配置好，就可以迅速搭建一個高效的運維監(jiān)測平臺。

7: 開源

TDengine由北京濤思數(shù)據(jù)技術(shù)有限公司自主開發(fā)，沒有依賴任何第三方軟件。研發(fā)時間已經(jīng)超過2年，而且已經(jīng)有一批付費商業(yè)客戶，涉及電力、數(shù)控機床、智慧城市、車輛網(wǎng)等多個領(lǐng)域，客戶的使用反饋都很不錯?？上驳氖?，濤思數(shù)據(jù)將TDengine的核心存儲、計算引擎完全開源。TDengine的社區(qū)版完全能滿足一定規(guī)模的物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)的應用需求。因為濤思數(shù)據(jù)核心團隊就在北京，相比其他開源軟件，應該能夠給中國的軟件工程師提供更好的本地服務。

結(jié)語

TDengine在易用性、功能上、性能上已經(jīng)遠超其他時序數(shù)據(jù)庫。采用TDengine，物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、運維監(jiān)測的大數(shù)據(jù)平臺的搭建變得極為簡單，具備超強性能，不僅降低硬件成本、運維成本，還能大幅降低對研發(fā)和運維人員的需求。

因為是開源免費的，而且安裝包非常小，不妨訪問tdengine.com下載一個試試。