近年來，各大廠商紛紛擁抱云原生技術(shù)，由此帶來的海量數(shù)據(jù)給傳統(tǒng)的技術(shù)架構(gòu)帶來了巨大沖擊，傳統(tǒng)監(jiān)控首當(dāng)其沖。服務(wù)上云之后，大都基于 Docker 容器部署、Kubernetes 服務(wù)治理，資源彈性伸縮且實(shí)時(shí)變化，傳統(tǒng)監(jiān)控難以支撐住此場(chǎng)景下的業(yè)務(wù)需求，可觀測(cè)性（Observability）逐漸發(fā)展成為云原生領(lǐng)域的熱門方向。

在此背景下，云時(shí)代的系統(tǒng)可觀測(cè)平臺(tái)觀測(cè)云與物聯(lián)網(wǎng)大數(shù)據(jù)解決方案商濤思數(shù)據(jù)達(dá)成深度戰(zhàn)略合作，依靠國產(chǎn)時(shí)序數(shù)據(jù)庫 TDengine 的技術(shù)和性能優(yōu)勢(shì)，觀測(cè)云將進(jìn)一步滿足云、云原生、應(yīng)用及業(yè)務(wù)上的監(jiān)測(cè)需求，從基礎(chǔ)設(shè)施到日志數(shù)據(jù)再到全鏈路應(yīng)用性能實(shí)現(xiàn)全面主動(dòng)觀測(cè)，讓企業(yè)在上云體驗(yàn)上更加順滑。

多種存儲(chǔ)混合查找，觀測(cè)云設(shè)計(jì) DQL 引擎專注查詢

在觀測(cè)云的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)中，數(shù)據(jù)采集軟件會(huì)被部署到不同的用戶環(huán)境中采集所需數(shù)據(jù)，在數(shù)據(jù)上傳后系統(tǒng)會(huì)根據(jù)數(shù)據(jù)類型進(jìn)行相應(yīng)的分類，分類完成后所有數(shù)據(jù)會(huì)經(jīng)由 Worker 進(jìn)行對(duì)應(yīng)處理，再根據(jù)相應(yīng)的分類寫入到各種不同的存儲(chǔ)當(dāng)中。在數(shù)據(jù)存儲(chǔ)完成后，根據(jù)業(yè)務(wù)需求用戶需要對(duì)數(shù)據(jù)進(jìn)行查詢操作，但不同的數(shù)據(jù)存儲(chǔ)存在查詢語言的差異，如何彌補(bǔ)語言差異完成查詢操作成為一個(gè)亟待解決的問題。

觀測(cè)云所使用的的存儲(chǔ)可以概括為三種，一種是如 TDengine 一般的時(shí)序數(shù)據(jù)庫（Time-Series Database），一種是Elasticsearch（簡(jiǎn)稱 ES），此外還有一部分?jǐn)?shù)據(jù)存儲(chǔ)在 Redis、MySQL 這類關(guān)系型數(shù)據(jù)庫當(dāng)中，對(duì)應(yīng)如此多種類的存儲(chǔ)，在遍歷查詢方面極度不友好，尤其是對(duì)于前端來說。觀測(cè)云的解決方案是重新定義一套可以查詢多種數(shù)據(jù)類型的查詢語言，并由此設(shè)計(jì)出了 DQL 引擎，真正意義上實(shí)現(xiàn)了數(shù)據(jù)查詢層面的垂直劃分。

為了打造出一種能夠統(tǒng)一查找多種存儲(chǔ)混合的查詢語言，觀測(cè)云在設(shè)計(jì)上進(jìn)行了深入思考，并依托于具體實(shí)現(xiàn)不斷打磨，設(shè)計(jì)出了專注于查詢且語法簡(jiǎn)單的 DQL 引擎，代碼展示如下：

M（Metric）::nsq_nodes:(LAST(message_count) AS 消息數(shù)) BY 
server_host 
L（Log）::openway_gin:(MAX(cost_time)) {host = ‘prd-dataway’} 
BY http_url 
R（RUL）::view:(COUNT_DISTINCT(userid)) { app_id = 
'appid_xyz' and view_path = re('.*/scene/.*') }

在解決了多種存儲(chǔ)共存的問題后，為滿足業(yè)務(wù)發(fā)展需求，進(jìn)一步提升前端操作體驗(yàn)，觀測(cè)云決定對(duì)既有的存儲(chǔ)系統(tǒng)架構(gòu)進(jìn)行升級(jí)改造。

與 TDengine 合作，提升用戶體驗(yàn)

觀測(cè)云此前使用的時(shí)序數(shù)據(jù)庫是 InfluxDB，應(yīng)用至今，其越來越難以支撐私有化部署業(yè)務(wù)，多種問題和瓶頸導(dǎo)致業(yè)務(wù)發(fā)展受到限制，最終觀測(cè)云決定對(duì) InfluxDB 進(jìn)行替換。他們將目光轉(zhuǎn)移到國內(nèi)數(shù)據(jù)庫領(lǐng)域，發(fā)現(xiàn)在多年的發(fā)展之下，一些優(yōu)質(zhì)的國產(chǎn)時(shí)序數(shù)據(jù)庫應(yīng)運(yùn)而起，TDengine 就是其中之一。在了解了 TDengine 的種種特性之后，觀測(cè)云對(duì)兩種時(shí)序數(shù)據(jù)庫進(jìn)行了相關(guān)測(cè)試。

根據(jù)上述測(cè)試結(jié)果，觀測(cè)云發(fā)現(xiàn)，不管是從寫入、查詢抑或是存儲(chǔ)方面，TDengine 在性能上可以說是全面領(lǐng)先于 InfluxDB。無論是簡(jiǎn)單查詢還是復(fù)雜的聚合查詢，都有 10x～20x 的性能提升，存儲(chǔ)空間能節(jié)省大約一半，在寫入性能上也有兩倍提升，也就是說原先可能需要使用兩個(gè)或者三個(gè)節(jié)點(diǎn)才能滿足用戶的寫入需求，應(yīng)用 TDengine 后一個(gè)節(jié)點(diǎn)大約就頂住了，一定程度上又節(jié)省了一部分的部署成本。

目前，觀測(cè)云正在逐步將數(shù)據(jù)從 InfluxDB 遷移至 TDengine，TDengine 將會(huì)被應(yīng)用在多租戶隔離、高頻 I/O、私有化部署等場(chǎng)景中。

作為一個(gè) SaaS 平臺(tái)，觀測(cè)云需要接入多租戶進(jìn)行對(duì)應(yīng)服務(wù)，因此平臺(tái)方首先需要考慮的就是不同租戶之間如何以不同的 DB/Index 進(jìn)行隔離。在 TDengine 中，多個(gè) DB 可以共享一個(gè) database 服務(wù)，觀測(cè)云可以順利實(shí)施這個(gè)方案。

此外，多租戶模式也會(huì)產(chǎn)生高頻數(shù)據(jù)寫入，每一個(gè)租戶都可能會(huì)部署多個(gè)采集點(diǎn)，而一個(gè)采集點(diǎn)就相當(dāng)于一個(gè)寫入的客戶端，僅對(duì)于一個(gè)租戶而言，就可能產(chǎn)生十個(gè)、一百個(gè)甚至更多的接入客戶端，多租戶的寫入量之巨大可想而知。

除了寫入，平臺(tái)在查詢層面也會(huì)面臨不小的壓力，前端指標(biāo)的生成、監(jiān)控等無時(shí)無刻不在對(duì)數(shù)據(jù)進(jìn)行查找。TDengine 的邏輯設(shè)計(jì)使得其既可以滿足高可靠，又能夠滿足大數(shù)據(jù)量級(jí)的讀寫需求，可以很好地支撐住多租戶模式下的系統(tǒng)性能。

除了 SaaS 服務(wù)外，觀測(cè)云還會(huì)針對(duì)一些客戶的業(yè)務(wù)需求進(jìn)行私有化部署，私有化部署的環(huán)境和 SaaS 有很大區(qū)別，不僅要將部署效率提升，還要能夠和不同的云平臺(tái)打通，更便捷地獲取需要的資源。相比于 InfluxDB，國產(chǎn)的時(shí)序數(shù)據(jù)庫 TDengine 對(duì)私有化部署顯然更加友好。

結(jié)語

在 TDengine 的助力下，觀測(cè)云極大地節(jié)省了部署和運(yùn)維成本，也顯著提升了系統(tǒng)的整體性能，讓前端用戶在使用體驗(yàn)上更上一層樓。作為 TDengine 的合作伙伴，觀測(cè)云希望 TDengine 未來能夠有更多數(shù)學(xué)函數(shù)的支持，同時(shí)加強(qiáng)部分查詢功能對(duì) Unicode 的支持，以更加豐富的功能促進(jìn)雙方開展更為深度的合作模式。

“后面在我們的 SaaS 和私有化部署中都會(huì)默認(rèn)使用 TDengine，其他公有云（AWS、騰訊云等）上的服務(wù)都將以 TDengine 為主，對(duì)于新接入的用戶我們也將慢慢遷移到 TDengine 節(jié)點(diǎn)?！?/p>

未來隨著雙方合作的持續(xù)加強(qiáng)，可以預(yù)見，強(qiáng)強(qiáng)聯(lián)合的技術(shù)加持將為云原生行業(yè)的智能化監(jiān)控構(gòu)筑更加堅(jiān)實(shí)的“技術(shù)底座”，為企業(yè)數(shù)字化轉(zhuǎn)型提供技術(shù)力量支撐，為國內(nèi)可觀測(cè)性技術(shù)的發(fā)展貢獻(xiàn)源源不斷的創(chuàng)造力。

觀測(cè)云簡(jiǎn)介：觀測(cè)云，新一代 SaaS 化全鏈路數(shù)據(jù)可觀測(cè)平臺(tái)，實(shí)現(xiàn)統(tǒng)一采集、統(tǒng)一標(biāo)簽、統(tǒng)一存儲(chǔ)和統(tǒng)一界面，帶來全功能的一體化可觀測(cè)體驗(yàn)。觀測(cè)云能全環(huán)境高基數(shù)采集數(shù)據(jù)，支持多維度信息智能檢索分析，及提供強(qiáng)大的自定義可編程能力，使系統(tǒng)運(yùn)行狀態(tài)盡在掌控，故障根因無所遁形。聰明的團(tuán)隊(duì)會(huì)觀測(cè)，可觀測(cè)性用觀測(cè)云。

濤思數(shù)據(jù)簡(jiǎn)介：北京濤思數(shù)據(jù)科技有限公司（TAOS Data）瞄準(zhǔn)日益增長(zhǎng)的物聯(lián)網(wǎng)數(shù)據(jù)市場(chǎng)，專注時(shí)序空間大數(shù)據(jù)的存儲(chǔ)、查詢、分析和計(jì)算，不依賴任何開源或第三方軟件，開發(fā)了擁有自主知識(shí)產(chǎn)權(quán)、100% 自主可控的高性能、分布式、支持 SQL 的時(shí)序數(shù)據(jù)庫 TDengine。采用 AGPL 許可證，濤思數(shù)據(jù)已經(jīng)將 TDengine 的內(nèi)核（存儲(chǔ)、計(jì)算引擎和集群）100% 開源，未來將盡最大努力打造開發(fā)者社區(qū)，維護(hù)開放開源的商業(yè)模式。