在 TDengine 3.3.0.0、3.3.2.0 版本中，我們進(jìn)一步增強(qiáng)了數(shù)據(jù)接入功能，實(shí)現(xiàn)了傳統(tǒng)關(guān)系型數(shù)據(jù)庫向 TDengine 的平滑遷移。這兩次版本更新重點(diǎn)打通了 MySQL、PostgreSQL、Oracle、SQL Server 到 TDengine 的遷移路徑。本篇文章將講述增加關(guān)系型數(shù)據(jù)庫接入功能的必要性及其操作方式，給到有需要的小伙伴參考。

打造關(guān)系型數(shù)據(jù)庫 Connector 的必要性

在工業(yè)和電力領(lǐng)域，實(shí)時(shí)監(jiān)測(cè)是解決傳統(tǒng)流程工業(yè)問題的關(guān)鍵。通常，實(shí)時(shí)數(shù)據(jù)庫用于實(shí)時(shí)監(jiān)測(cè)，而歷史數(shù)據(jù)則存儲(chǔ)在關(guān)系數(shù)據(jù)庫中。然而，使用關(guān)系數(shù)據(jù)庫存儲(chǔ)時(shí)序數(shù)據(jù)存在諸多缺點(diǎn)，包括：

1. 海量時(shí)序數(shù)據(jù)讀寫性能低：關(guān)系數(shù)據(jù)庫在處理大規(guī)模時(shí)序數(shù)據(jù)時(shí)，讀寫性能往往無法滿足需求，導(dǎo)致數(shù)據(jù)處理效率低下。
2. 分布式支持差：關(guān)系數(shù)據(jù)庫在分布式環(huán)境中的支持較弱，難以實(shí)現(xiàn)大規(guī)模分布式部署。
3. 查詢性能下降：隨著數(shù)據(jù)量的增加，關(guān)系數(shù)據(jù)庫的查詢速度顯著下降，無法滿足高效的數(shù)據(jù)檢索需求。
4. 時(shí)序數(shù)據(jù)特有分析能力欠缺：關(guān)系數(shù)據(jù)庫缺乏針對(duì)時(shí)序數(shù)據(jù)的專用分析功能，開發(fā)人員需要編寫復(fù)雜的應(yīng)用程序來實(shí)現(xiàn)特定的分析需求。

海量設(shè)備數(shù)據(jù)的激增和實(shí)時(shí)性要求，使得 MySQL、Oracle 一類的關(guān)系型數(shù)據(jù)庫在處理大規(guī)模數(shù)據(jù)時(shí)的性能瓶頸日益凸顯。對(duì)于許多使用此類數(shù)據(jù)庫存儲(chǔ)數(shù)據(jù)的物聯(lián)網(wǎng)和工業(yè)互聯(lián)網(wǎng)系統(tǒng)來說，隨著接入系統(tǒng)設(shè)備數(shù)量的不斷增加和用戶對(duì)數(shù)據(jù)實(shí)時(shí)性反饋要求的提高，數(shù)據(jù)庫系統(tǒng)越來越無法滿足業(yè)務(wù)需求。為了解決這一問題，越來越多的企業(yè)開始進(jìn)行數(shù)據(jù)架構(gòu)改革，時(shí)序數(shù)據(jù)庫 TDengine 成為眾多企業(yè)的首選解決方案之一。

以中移物聯(lián)為例，智慧出行是其業(yè)務(wù)中的典型場(chǎng)景之一。中移物聯(lián)需要存儲(chǔ)車聯(lián)網(wǎng)設(shè)備的軌跡數(shù)據(jù)，并支持對(duì)這些軌跡進(jìn)行高效查詢。最初，他們使用 Oracle 小型機(jī)進(jìn)行單表分區(qū)存儲(chǔ)，但這種方法運(yùn)維復(fù)雜且難以管理。2017 年，為響應(yīng)集團(tuán)去 IOE 的要求，中移物聯(lián)開始使用 MySQL 集群。然而，隨著產(chǎn)品在 2019 年提出更高的數(shù)據(jù)存儲(chǔ)需求，中移物聯(lián)調(diào)研了國(guó)產(chǎn)數(shù)據(jù)庫 TiDB，但由于其存儲(chǔ)成本過高，不適合低價(jià)值的軌跡數(shù)據(jù)存儲(chǔ)，并且無法滿足行業(yè)客戶對(duì)軌跡數(shù)據(jù)存儲(chǔ)周期的定制化需求。

最終，中移物聯(lián)選擇了 TDengine 作為新的數(shù)據(jù)存儲(chǔ)引擎。替換 MySQL 方案后，其存儲(chǔ)空間減少到原來的 1/7，業(yè)務(wù)寫入峰值達(dá)到 1.2-1.3 萬行/秒，數(shù)據(jù)遷移過程中可以達(dá)到 20 萬行/秒，讀取數(shù)據(jù)性能也非常出色，最常用的單設(shè)備單日查詢可以在 0.1 秒內(nèi)返回結(jié)果。這些改進(jìn)顯著提升了中移物聯(lián)的運(yùn)維效率和數(shù)據(jù)處理能力。

近些年，從傳統(tǒng)的關(guān)系型數(shù)據(jù)庫升級(jí)至 TDengine 的案例數(shù)量顯著增加，對(duì)其他客戶案例感興趣的小伙伴可移至 http://www.fjzmyy.cn/tdengine-user-cases 查看更多經(jīng)驗(yàn)分享。

為了方便更多被關(guān)系型數(shù)據(jù)庫性能瓶頸困擾的企業(yè)更順滑地向 TDengine 進(jìn)行數(shù)據(jù)遷移，研發(fā)團(tuán)隊(duì)歷時(shí)數(shù)月打造 MySQL Connector、PostgreSQL Connector、Oracle Connector、SQL Server Connector。通過這些連接器，不僅數(shù)據(jù)遷移的穩(wěn)定性和完整性極大提升，遷移過程也大幅縮短，使企業(yè)在不影響現(xiàn)有業(yè)務(wù)的前提下，輕松享受到 TDengine 帶來的高效性能。

從幾大關(guān)系型數(shù)據(jù)庫向 TDengine 遷移僅需三步

以 MySQL Connector 為例，其具備多項(xiàng)亮點(diǎn)，包括支持歷史數(shù)據(jù)遷移和實(shí)時(shí)數(shù)據(jù)同步、遷移過程中的斷點(diǎn)續(xù)傳、transformer 功能、以及無需工廠側(cè)有公網(wǎng) IP 的 Agent 運(yùn)行模式。此外，用戶可以通過可視化界面管理這些功能，并在數(shù)據(jù)傳輸過程中進(jìn)行數(shù)據(jù)壓縮，實(shí)現(xiàn)秒級(jí)延遲的實(shí)時(shí)數(shù)據(jù)同步。

MySQL Connector 的運(yùn)作原理就是先通過 SQL 語句將 MySQL 中的時(shí)序數(shù)據(jù)查詢出來，按照用戶配置的 transformer 規(guī)則進(jìn)行轉(zhuǎn)換，然后寫入 TDengine 中。借助 MySQL Connector，我們只需進(jìn)行少量配置，三個(gè)步驟即可將 MySQL 的數(shù)據(jù)輕松接入 TDengine。

配置連接信息

配置 SQL 信息

進(jìn)行數(shù)據(jù)映射

其他幾種關(guān)系型數(shù)據(jù)庫的遷移操作同樣如此簡(jiǎn)單，你還在等什么？趕緊嘗試一下吧，體驗(yàn)高效便捷的數(shù)據(jù)遷移過程！

結(jié)語

在數(shù)據(jù)接入方面，TDengine 目前已實(shí)現(xiàn)與多種數(shù)據(jù)源的無縫對(duì)接，包括 AVEVA Historian、OPC、Kafka、MQTT、InfluxDB 和 PI System 等。針對(duì)傳統(tǒng)關(guān)系型數(shù)據(jù)庫，已實(shí)現(xiàn)了 MySQL、PostgreSQL、Oracle、SQL Server 到 TDengine 的平滑遷移。隨著數(shù)據(jù)源種類的增加，TDengine 的靈活性和選擇性也越來越豐富，這意味著用戶可以輕松地將不同數(shù)據(jù)源的數(shù)據(jù)導(dǎo)入 TDengine 中進(jìn)行統(tǒng)一管理和分析。

目前，TDengine 3.0 企業(yè)版和 TDengine Cloud 均支持?jǐn)?shù)據(jù)接入功能。如果你也想體驗(yàn)平滑遷移的便捷性，立即注冊(cè) TDengine Cloud，即可獲得價(jià)值 600 元的體驗(yàn)券，開啟前所未有的數(shù)據(jù)之旅！如需了解更多關(guān)于 TDengine 企業(yè)版和 TDengine Cloud 的信息，可以添加小T微信（tdengine），與專業(yè)的解決方案專家一對(duì)一溝通。