利用 TDengine Enterprise 和 TDengine Cloud 的數(shù)據(jù)接入功能，我們現(xiàn)在能夠?qū)?MQTT、InfluxDB 中的數(shù)據(jù)通過規(guī)則無縫轉(zhuǎn)換至 TDengine 中，在降低成本的同時(shí)，也為用戶的數(shù)據(jù)轉(zhuǎn)換工作提供了極大的便捷性。由于該功能在實(shí)現(xiàn)及使用上與 Logstash 類似，本文將結(jié)合 Logstash 為大家進(jìn)行解讀。

偏向于日志收集整理的 Logstash

Logstash 是一個(gè)開源的實(shí)時(shí)數(shù)據(jù)收集處理引擎，通常作為 ETL 工具使用，它可以根據(jù)轉(zhuǎn)換規(guī)則將數(shù)據(jù)從多種數(shù)據(jù)源中采集并轉(zhuǎn)換數(shù)據(jù)，然后發(fā)送到指定的存儲(chǔ)中。其通常與 ElasticSearch（ES）、Kibana、Beats 共同使用，形成免費(fèi)開源工具組合 Elastic Stack（又稱 ELK Stack），適用于數(shù)據(jù)的采集、擴(kuò)充、存儲(chǔ)、分析和可視化等工作。

Logstash 可以由 Beats、Kafka、DataSource 等數(shù)據(jù)源將數(shù)據(jù)轉(zhuǎn)換寫入 ES、MySQL 等數(shù)據(jù)庫(kù)中進(jìn)行存儲(chǔ)：

數(shù)據(jù)流轉(zhuǎn)總體分為三部分：Input、Filter、Output，這三部分的定義覆蓋了數(shù)據(jù)整個(gè)的生命周期。Input 和 Output 支持編解碼器，使用編解碼器，可以在數(shù)據(jù)進(jìn)入或退出管道時(shí)進(jìn)行編碼或解碼，而不必使用單獨(dú)的過濾器。原始數(shù)據(jù)在 Input 中被轉(zhuǎn)換為 Event，在 Output 中 Event 被轉(zhuǎn)換為目標(biāo)式數(shù)據(jù)，在配置文件中可以對(duì) Event 中的屬性進(jìn)行增刪改查。

其中，F(xiàn)ilter 是 Logstash 功能強(qiáng)大的主要原因，它可以對(duì) Logstash Event 進(jìn)行豐富的處理，比如解析數(shù)據(jù)、刪除字段、類型轉(zhuǎn)換等等，常見的有如以下幾個(gè)：

• date 日期解析
• grok 正則匹配解析
  • 正則表達(dá)式：
    • Debuggex: Online visual regex tester. JavaScript, Python, and PCRE.
    • RegExr: Learn, Build, & Test RegEx
  • Grok
    • kibana – grokdebugger
    • https://github.com/elastic/logstash/tree/v1.4.2/patterns
    • https://github.com/logstash-plugins/logstash-patterns-core
    • https://grokdebugger.com/
• dissect 分割符解析
• mutate 可以對(duì)事件中的數(shù)據(jù)進(jìn)行修改，包括 rename、update、replace、convert、split、gsub、uppercase、lowercase、strip、remove_field、join、merge 等功能。
• json 按照 json 解析字段內(nèi)容到指定字段中
• geoip 增加地理位置數(shù)據(jù)
• ruby 利用 ruby 代碼來動(dòng)態(tài)修改 Logstash Event

filter {
    grok => {
        match => {
            "message" => "%{SERVICE:service}"
        }
        pattern_definitions => {
            "SERVICE" => "[a-z0-9]{10,11}"
        }
    }
}

Logstash 在實(shí)時(shí)數(shù)據(jù)處理方面有一定的能力，也有一定的流行性，但并不是所有場(chǎng)景下都適用 Logstash。針對(duì)多種數(shù)據(jù)源的收集，TDengine 打造了自己的數(shù)據(jù)接入功能。

TDengine：針對(duì)多種數(shù)據(jù)源的收集

如果你使用 Elasticsearch 和 Kibana 來構(gòu)建日志管理、數(shù)據(jù)分析和可視化解決方案，Logstash 可能是一個(gè)不錯(cuò)的選擇，因?yàn)樗c Elasticsearch 的集成非常緊密。但 Logstash 并不適用于處理大規(guī)模時(shí)序數(shù)據(jù)，它在處理大量數(shù)據(jù)時(shí)會(huì)消耗大量的系統(tǒng)資源，包括內(nèi)存和 CPU，在數(shù)據(jù)量很大的情況下甚至?xí)?dǎo)致出現(xiàn)性能問題，它的可擴(kuò)展性在處理大規(guī)模數(shù)據(jù)時(shí)也可能受到限制。而且如果你最初接觸 Logstash，那你會(huì)需要付出較高的學(xué)習(xí)成本，因?yàn)?Logstash 在處理數(shù)據(jù)的各個(gè)階段（輸入、過濾、輸出）需要正確配置，錯(cuò)誤的配置可能會(huì)導(dǎo)致數(shù)據(jù)丟失或格式錯(cuò)誤。

這也是 TDengine 打造自己的數(shù)據(jù)接入功能的一些主要原因，如果你正在使用 TDengine，那這一功能一定能幫助你更便捷、更低成本地進(jìn)行數(shù)據(jù)轉(zhuǎn)換工作。

目前利用 TDengine 數(shù)據(jù)接入功能，你可以輕松從 MQTT、InfluxDB 等服務(wù)器獲取數(shù)據(jù)，并高效地寫入 TDengine 數(shù)據(jù)庫(kù)中，實(shí)現(xiàn)數(shù)據(jù)的順暢集成和分析。這一功能負(fù)責(zé)整個(gè)過程的自動(dòng)化數(shù)據(jù)接入，最大限度地減少了手動(dòng)操作的工作量。同時(shí)它還具備以下特點(diǎn)：

• 支持 JSON 格式：充分利用 JSON 的靈活性，使用戶能夠以 JSON 格式進(jìn)行數(shù)據(jù)攝取和存儲(chǔ)。機(jī)構(gòu)可以有效地構(gòu)建和管理數(shù)據(jù)，從復(fù)雜數(shù)據(jù)結(jié)構(gòu)中挖掘有價(jià)值的見解。
• 支持 JSON path 提取字段：TDengine 支持 JSON path 提取，在處理 JSON 數(shù)據(jù)時(shí)更加輕松。通過精確選擇和捕獲所需的數(shù)據(jù)元素，用戶可以專注于數(shù)據(jù)集的核心內(nèi)容，最大化分析效率。
• 簡(jiǎn)單配置：提供了易于使用的配置文件，您可以在其中指定 TDengine 的超級(jí)表、子表、列和標(biāo)簽，輕松定制數(shù)據(jù)接入流程以滿足特定需求。

另外 TDengine 的數(shù)據(jù)接入后還可以進(jìn)行數(shù)據(jù)清洗和轉(zhuǎn)換，用戶可以根據(jù)業(yè)務(wù)需要設(shè)計(jì)相應(yīng)的數(shù)據(jù)清洗和轉(zhuǎn)換規(guī)則，實(shí)現(xiàn)完整的數(shù)據(jù) ETL 流程。借助上述創(chuàng)新功能，實(shí)時(shí)數(shù)據(jù)可以實(shí)現(xiàn)與高性能的 TDengine 數(shù)據(jù)庫(kù)的無縫結(jié)合，實(shí)時(shí)分析、預(yù)防性維護(hù)和數(shù)據(jù)驅(qū)動(dòng)決策也擁有了無限可能。

配置方法很簡(jiǎn)單，你只需要登錄到 TDengine 企業(yè)版或 TDengine Cloud 的 Web 管理界面，選擇 Data in 并添加 MQTT 作為數(shù)據(jù)源，簡(jiǎn)單配置一下 InfluxDB/MQTT 數(shù)據(jù)對(duì)應(yīng)到 TDengine 庫(kù)、超級(jí)表、子表的解析規(guī)則即可。具體配置方案可見《TDengine 推出重磅功能，讓 MQTT 無縫數(shù)據(jù)接入更加簡(jiǎn)單》《TDengine 數(shù)據(jù)接入功能支持 InfluxDB 啦！》

TDengine 3.0 企業(yè)版和 TDengine Cloud 憑借簡(jiǎn)潔易用的命令行操作，為用戶提供了高效、可靠的數(shù)據(jù)接入方法。無論你是想要從 InfluxDB/MQTT 遷移數(shù)據(jù)，還是想將多個(gè)數(shù)據(jù)源的數(shù)據(jù)集中到 TDengine 中，TDengine 3.0 企業(yè)版和 TDengine Cloud 都能夠滿足你的需求。

如果你對(duì)這一數(shù)據(jù)接入功能感興趣或正面臨數(shù)據(jù)接入難題，可以添加小T vx：tdengine，和 TDengine 的資深研發(fā)直接進(jìn)行溝通。