利用 TDengine Enterprise 和 TDengine Cloud 的數(shù)據(jù)接入功能，我們現(xiàn)在能夠?qū)?MQTT、InfluxDB 中的數(shù)據(jù)通過規(guī)則無縫轉(zhuǎn)換至 TDengine 中，在降低成本的同時，也為用戶的數(shù)據(jù)轉(zhuǎn)換工作提供了極大的便捷性。由于該功能在實現(xiàn)及使用上與 Logstash 類似，本文將結(jié)合 Logstash 為大家進行解讀。

偏向于日志收集整理的 Logstash

Logstash 是一個開源的實時數(shù)據(jù)收集處理引擎，通常作為 ETL 工具使用，它可以根據(jù)轉(zhuǎn)換規(guī)則將數(shù)據(jù)從多種數(shù)據(jù)源中采集并轉(zhuǎn)換數(shù)據(jù)，然后發(fā)送到指定的存儲中。其通常與 ElasticSearch（ES）、Kibana、Beats 共同使用，形成免費開源工具組合 Elastic Stack（又稱 ELK Stack），適用于數(shù)據(jù)的采集、擴充、存儲、分析和可視化等工作。

Logstash 可以由 Beats、Kafka、DataSource 等數(shù)據(jù)源將數(shù)據(jù)轉(zhuǎn)換寫入 ES、MySQL 等數(shù)據(jù)庫中進行存儲：

數(shù)據(jù)流轉(zhuǎn)總體分為三部分：Input、Filter、Output，這三部分的定義覆蓋了數(shù)據(jù)整個的生命周期。Input 和 Output 支持編解碼器，使用編解碼器，可以在數(shù)據(jù)進入或退出管道時進行編碼或解碼，而不必使用單獨的過濾器。原始數(shù)據(jù)在 Input 中被轉(zhuǎn)換為 Event，在 Output 中 Event 被轉(zhuǎn)換為目標式數(shù)據(jù)，在配置文件中可以對 Event 中的屬性進行增刪改查。

其中，F(xiàn)ilter 是 Logstash 功能強大的主要原因，它可以對 Logstash Event 進行豐富的處理，比如解析數(shù)據(jù)、刪除字段、類型轉(zhuǎn)換等等，常見的有如以下幾個：

• date 日期解析
• grok 正則匹配解析
  • 正則表達式：
    • Debuggex: Online visual regex tester. JavaScript, Python, and PCRE.
    • RegExr: Learn, Build, & Test RegEx
  • Grok
    • kibana – grokdebugger
    • https://github.com/elastic/logstash/tree/v1.4.2/patterns
    • https://github.com/logstash-plugins/logstash-patterns-core
    • https://grokdebugger.com/
• dissect 分割符解析
• mutate 可以對事件中的數(shù)據(jù)進行修改，包括 rename、update、replace、convert、split、gsub、uppercase、lowercase、strip、remove_field、join、merge 等功能。
• json 按照 json 解析字段內(nèi)容到指定字段中
• geoip 增加地理位置數(shù)據(jù)
• ruby 利用 ruby 代碼來動態(tài)修改 Logstash Event

filter {
    grok => {
        match => {
            "message" => "%{SERVICE:service}"
        }
        pattern_definitions => {
            "SERVICE" => "[a-z0-9]{10,11}"
        }
    }
}

Logstash 在實時數(shù)據(jù)處理方面有一定的能力，也有一定的流行性，但并不是所有場景下都適用 Logstash。針對多種數(shù)據(jù)源的收集，TDengine 打造了自己的數(shù)據(jù)接入功能。

TDengine：針對多種數(shù)據(jù)源的收集

如果你使用 Elasticsearch 和 Kibana 來構(gòu)建日志管理、數(shù)據(jù)分析和可視化解決方案，Logstash 可能是一個不錯的選擇，因為它與 Elasticsearch 的集成非常緊密。但 Logstash 并不適用于處理大規(guī)模時序數(shù)據(jù)，它在處理大量數(shù)據(jù)時會消耗大量的系統(tǒng)資源，包括內(nèi)存和 CPU，在數(shù)據(jù)量很大的情況下甚至會導致出現(xiàn)性能問題，它的可擴展性在處理大規(guī)模數(shù)據(jù)時也可能受到限制。而且如果你最初接觸 Logstash，那你會需要付出較高的學習成本，因為 Logstash 在處理數(shù)據(jù)的各個階段（輸入、過濾、輸出）需要正確配置，錯誤的配置可能會導致數(shù)據(jù)丟失或格式錯誤。

這也是 TDengine 打造自己的數(shù)據(jù)接入功能的一些主要原因，如果你正在使用 TDengine，那這一功能一定能幫助你更便捷、更低成本地進行數(shù)據(jù)轉(zhuǎn)換工作。

目前利用 TDengine 數(shù)據(jù)接入功能，你可以輕松從 MQTT、InfluxDB 等服務(wù)器獲取數(shù)據(jù)，并高效地寫入 TDengine 數(shù)據(jù)庫中，實現(xiàn)數(shù)據(jù)的順暢集成和分析。這一功能負責整個過程的自動化數(shù)據(jù)接入，最大限度地減少了手動操作的工作量。同時它還具備以下特點：

• 支持 JSON 格式：充分利用 JSON 的靈活性，使用戶能夠以 JSON 格式進行數(shù)據(jù)攝取和存儲。機構(gòu)可以有效地構(gòu)建和管理數(shù)據(jù)，從復雜數(shù)據(jù)結(jié)構(gòu)中挖掘有價值的見解。
• 支持 JSON path 提取字段：TDengine 支持 JSON path 提取，在處理 JSON 數(shù)據(jù)時更加輕松。通過精確選擇和捕獲所需的數(shù)據(jù)元素，用戶可以專注于數(shù)據(jù)集的核心內(nèi)容，最大化分析效率。
• 簡單配置：提供了易于使用的配置文件，您可以在其中指定 TDengine 的超級表、子表、列和標簽，輕松定制數(shù)據(jù)接入流程以滿足特定需求。

另外 TDengine 的數(shù)據(jù)接入后還可以進行數(shù)據(jù)清洗和轉(zhuǎn)換，用戶可以根據(jù)業(yè)務(wù)需要設(shè)計相應的數(shù)據(jù)清洗和轉(zhuǎn)換規(guī)則，實現(xiàn)完整的數(shù)據(jù) ETL 流程。借助上述創(chuàng)新功能，實時數(shù)據(jù)可以實現(xiàn)與高性能的 TDengine 數(shù)據(jù)庫的無縫結(jié)合，實時分析、預防性維護和數(shù)據(jù)驅(qū)動決策也擁有了無限可能。

配置方法很簡單，你只需要登錄到 TDengine 企業(yè)版或 TDengine Cloud 的 Web 管理界面，選擇 Data in 并添加 MQTT 作為數(shù)據(jù)源，簡單配置一下 InfluxDB/MQTT 數(shù)據(jù)對應到 TDengine 庫、超級表、子表的解析規(guī)則即可。具體配置方案可見《TDengine 推出重磅功能，讓 MQTT 無縫數(shù)據(jù)接入更加簡單》《TDengine 數(shù)據(jù)接入功能支持 InfluxDB 啦！》

TDengine 3.0 企業(yè)版和 TDengine Cloud 憑借簡潔易用的命令行操作，為用戶提供了高效、可靠的數(shù)據(jù)接入方法。無論你是想要從 InfluxDB/MQTT 遷移數(shù)據(jù)，還是想將多個數(shù)據(jù)源的數(shù)據(jù)集中到 TDengine 中，TDengine 3.0 企業(yè)版和 TDengine Cloud 都能夠滿足你的需求。

如果你對這一數(shù)據(jù)接入功能感興趣或正面臨數(shù)據(jù)接入難題，可以添加小T vx：tdengine，和 TDengine 的資深研發(fā)直接進行溝通。