六月婷婷AV,国产偷窥猎奇福利二区,日韩三级片。,好吊色网站,日韩成人中文在线视频,国产亚洲午夜啪啪,亚洲欧美另类国产精品,国产成人av1,任你艹在线观看

運(yùn)維監(jiān)控場景下,如何從 OpenTSDB 遷移到 TDengine

OpenTSDB是一個(gè)經(jīng)典的時(shí)序數(shù)據(jù)庫(Time-Series Database)系統(tǒng),它沒有開發(fā)自己的存儲引擎,而是基于HBase,對于已經(jīng)有HBase基礎(chǔ)服務(wù)的企業(yè)而言,降低了門檻。而且得益于其先發(fā)優(yōu)勢,OpenTSDB在運(yùn)維監(jiān)控領(lǐng)域有不少應(yīng)用。不過也因?yàn)橐蕾嘓Base,系統(tǒng)的性能、壓縮效率逐漸成為瓶頸。隨著業(yè)務(wù)系統(tǒng)規(guī)模的擴(kuò)大,部署成本、運(yùn)行效率等方面的問題日益嚴(yán)重。此外,OpenTSDB的功能升級也比較緩慢。 與之相比,TDengine Database有著明顯的優(yōu)勢:

  • 數(shù)據(jù)寫入和查詢的性能遠(yuǎn)超OpenTSDB;
  • 針對時(shí)序數(shù)據(jù)的高效壓縮機(jī)制,壓縮后在磁盤上的存儲空間不到OpenTSDB的1/5;
  • 安裝部署非常簡單,單一安裝包完成安裝部署,不依賴其他的第三方軟件,整個(gè)安裝部署過程秒級搞定;
  • 提供的內(nèi)建函數(shù)覆蓋OpenTSDB支持的全部查詢函數(shù),還支持更多的時(shí)序數(shù)據(jù)查詢函數(shù)、標(biāo)量函數(shù)及聚合函數(shù),支持多種時(shí)間窗口聚合、連接查詢、表達(dá)式運(yùn)算、多種分組聚合、用戶定義排序、以及用戶定義函數(shù)等高級查詢功能。采用類 SQL 的語法規(guī)則,更加簡單易學(xué),基本上沒有學(xué)習(xí)成本。
  • 支持多達(dá)128個(gè)標(biāo)簽,標(biāo)簽總長度可達(dá)到16KB;
  • 除HTTP 之外,還提供Java、Python、C、Rust、Go 等多種語言的接口。

如果我們將原本運(yùn)行在OpenTSDB上的應(yīng)用遷移到 TDengine 上,不僅可以有效降低計(jì)算和存儲資源的占用、減少部署服務(wù)器的規(guī)模,還能夠極大減少運(yùn)行維護(hù)成本,讓運(yùn)維管理工作更簡單、更輕松,大幅降低總擁有成本。

本文將以“使用最典型并廣泛應(yīng)用的運(yùn)維監(jiān)控場景”來說明,不用編寫一行代碼,如何將基于OpenTSDB的應(yīng)用快速、安全、可靠地遷移到 TDengine之上。

1、典型運(yùn)維監(jiān)控應(yīng)用場景

一個(gè)典型的運(yùn)維監(jiān)控應(yīng)用場景的系統(tǒng)整體的架構(gòu)如下圖(圖1) 所示。

運(yùn)維監(jiān)控場景下,如何從 OpenTSDB 遷移到 TDengine - TDengine Database 時(shí)序數(shù)據(jù)庫
圖1. 運(yùn)維監(jiān)控場景典型架構(gòu)

在該應(yīng)用場景中,包含了部署在應(yīng)用環(huán)境中負(fù)責(zé)收集機(jī)器度量(Metrics)、網(wǎng)絡(luò)度量(Metrics)以及應(yīng)用度量(Metrics)的 Agent 工具,匯聚Agent所收集信息的數(shù)據(jù)收集器,負(fù)責(zé)數(shù)據(jù)持久化存儲和管理的系統(tǒng)以及監(jiān)控?cái)?shù)據(jù)可視化工具(例如:Grafana等)。

其中,部署在應(yīng)用節(jié)點(diǎn)的Agent負(fù)責(zé)向collectd/Statsd提供不同來源的運(yùn)行指標(biāo),collectd/StatsD則負(fù)責(zé)將匯聚的數(shù)據(jù)推送到OpenTSDB集群系統(tǒng),然后使用Grafana將數(shù)據(jù)以可視化的方式呈現(xiàn)出來。

2、遷移服務(wù)

  • TDengine 安裝部署

首先是TDengine的安裝,從官網(wǎng)上下載TDengine最新穩(wěn)定版,解壓縮后運(yùn)行install.sh進(jìn)行安裝。各種安裝包的使用幫助可參考《TDengine多種安裝包的安裝和卸載》。 注意,安裝完成以后,不要立即啟動 taosd 服務(wù),在正確配置完成參數(shù)以后再啟動。

  • 調(diào)整數(shù)據(jù)收集器配置

在TDengine 2.3版本中,在后臺服務(wù)taosd啟動后,一個(gè)叫taosAdapter的HTTP的服務(wù)也會自動啟用。利用taosAdapter,能夠兼容Influxdb的Line Protocol和OpenTSDB的telnet/Json寫入?yún)f(xié)議,所以我們可以將collectd和StatsD收集的數(shù)據(jù)直接推送到TDengine。

如果使用collectd,修改其默認(rèn)位置在/etc/collectd/collectd.conf的配置文件,使其指向taosAdapter部署的節(jié)點(diǎn)IP地址和端口。假設(shè)taosAdapter的IP地址為192.168.1.130,端口為 6046,配置如下:

LoadPlugin write_tsdb
<Plugin write_tsdb>
    <Node>
        Host "192.168.1.130"
        Port "6046"
        HostTags "status=production"
        StoreRates false
        AlwaysAppendDS false
    </Node>
</Plugin>

這樣collectd就可以通過taosAdapter將數(shù)據(jù)寫入TDengine了。如果使用的是StatsD,可以相應(yīng)地調(diào)整配置文件。

  • 調(diào)整看板(Dashborad)系統(tǒng)

在數(shù)據(jù)能夠正常寫入TDengine后,可以調(diào)整適配Grafana,將寫入TDengine的數(shù)據(jù)可視化呈現(xiàn)出來。在TDengine的安裝目錄下有為Grafana提供的連接插件(connector/grafanaplugin)。使用很簡單:

首先將grafanaplugin目錄下的dist目錄整體拷貝到Grafana的插件目錄(默認(rèn)地址為 /var/lib/grafana/plugins/),然后重啟Grafana,即可在Add Data Source菜單下看見 TDengine 數(shù)據(jù)源。

此外,TDengine還提供了兩套默認(rèn)的Dashboard 模板,供用戶快速查看保存到TDengine庫里的信息。只需要其導(dǎo)入到Grafana中并激活。

運(yùn)維監(jiān)控場景下,如何從 OpenTSDB 遷移到 TDengine - TDengine Database 時(shí)序數(shù)據(jù)庫
圖2. 導(dǎo)入Grafana模板

至此,我們就完成了將OpenTSDB替換成為TDengine的遷移工作??梢钥吹秸麄€(gè)流程非常簡單,不需要寫代碼,只需要調(diào)整某個(gè)配置文件。

3、遷移后架構(gòu)

完成遷移以后,此時(shí)的系統(tǒng)整體的架構(gòu)如下圖(圖3)所示,而整個(gè)過程中采集端、數(shù)據(jù)寫入端、以及監(jiān)控呈現(xiàn)端均保持了穩(wěn)定,除了極少的配置調(diào)整外,不涉及任何重要的更改和變動。

運(yùn)維監(jiān)控場景下,如何從 OpenTSDB 遷移到 TDengine - TDengine Database 時(shí)序數(shù)據(jù)庫
圖3. 遷移完成后的系統(tǒng)架構(gòu)

OpenTSDB的主要應(yīng)用場景就是運(yùn)維監(jiān)控,這種情況下我們可以輕松完成向TDengine的遷移,從而用上 TDengine更加強(qiáng)大的處理能力和查詢性能。

在絕大多數(shù)運(yùn)維監(jiān)控場景中,如果擁有一個(gè)小規(guī)模的OpenTSDB集群(3臺及以下的節(jié)點(diǎn))作為監(jiān)控?cái)?shù)據(jù)的存儲端,依賴OpenTSDB所提供的數(shù)據(jù)存儲和查詢功能,那么可以安全地將其替換為TDengine,并節(jié)約更多的計(jì)算和存儲資源。在同等計(jì)算資源配置情況下,單臺TDengine即可實(shí)現(xiàn)3 ~ 5臺OpenTSDB節(jié)點(diǎn)提供的服務(wù)能力。如果規(guī)模比較大,那便需要采用TDengine Database集群。

如果應(yīng)用特別復(fù)雜,或者應(yīng)用領(lǐng)域并不是運(yùn)維監(jiān)控場景,你可以繼續(xù)閱讀下一篇文章,更加全面深入地了解將OpenTSDB應(yīng)用遷移到TDengine的高級話題。