一旦數(shù)據(jù)丟失，系統(tǒng)崩潰帶來的可能不僅是業(yè)務(wù)中斷，更可能是不可逆的損失。如何做到“有備無患”？時(shí)序數(shù)據(jù)庫 TDengine 提供了四種覆蓋廣泛場(chǎng)景的數(shù)據(jù)備份方案。本文將帶你深入了解每種方法的特性與操作要點(diǎn)，教你選對(duì)備份策略，也能快速恢復(fù)數(shù)據(jù)。

數(shù)據(jù)備份工具 taosdump

taosdump 是 TDengine 社區(qū)版首選的數(shù)據(jù)備份工具（企業(yè)版同樣支持），其核心特點(diǎn)是操作簡(jiǎn)便、支持多線程處理，且備份文件采用 Apache Avro 格式（大數(shù)據(jù)領(lǐng)域通用數(shù)據(jù)交換格式），便于向其他系統(tǒng)共享數(shù)據(jù)。工具支持跨平臺(tái)連接遠(yuǎn)程服務(wù)器執(zhí)行備份 / 恢復(fù)操作，兼容 Native、Restful、WebSocket 等多種連接協(xié)議。

優(yōu)缺點(diǎn)分析：

• 優(yōu)點(diǎn)：操作簡(jiǎn)單且社區(qū)版支持，導(dǎo)出格式為開放式 avro 格式。
• 缺點(diǎn)：功能選項(xiàng)相對(duì)基礎(chǔ)，未覆蓋復(fù)雜場(chǎng)景需求。

工具獲取

隨企業(yè)版 / 社區(qū)版安裝包內(nèi)置，無需額外下載。

備份操作

1. 全庫備份（包括系統(tǒng)庫）

命令示例：taosdump -A -o /data/backup（-A 表示全庫，-o 指定備份目錄）。

2. 指定備份庫或表

支持單庫多表備份，不支持多庫。

命令示例：taosdump -D db01 -o /data/backup/db01（-D 指定數(shù)據(jù)庫名）。

3. 指定時(shí)間段備份

支持按時(shí)間區(qū)間篩選數(shù)據(jù)，未指定則備份全量。

命令示例：taosdump -S '2024-01-01T00:00:00+0800' -E '2024-01-02T00:00:00+0800' -D db01 -o /data/backup/time_range（-S 和 -E 分別指定起始和結(jié)束時(shí)間）。

4. 指定線程備份

支持自定義線程加速備份，默認(rèn) 8 線程。

命令示例：taosdump -T 32 -A -o /data/backup（-T 表示備份線程數(shù)）。

5. 只備份元數(shù)據(jù)

命令示例：taosdump -s -D db01 -o /data/backup/meta（-s 表示僅元數(shù)據(jù)）。

恢復(fù)操作

1. 全量恢復(fù) 命令示例：taosdump -i /data/backup（-i 指定備份目錄，恢復(fù)所有數(shù)據(jù)）。
2. 恢復(fù)時(shí)修改庫名 命令示例：taosdump -i /data/backup -W "db01=new_db01"（將原庫 db01 恢復(fù)為 new_db01）。
3. 指定線程恢復(fù) 命令示例：taosdump -i /data/backup -T 16（使用 16 線程加速恢復(fù)）。
4. 指定數(shù)據(jù)庫恢復(fù) 操作步驟：全庫備份后，刪除備份目錄中不需要恢復(fù)的數(shù)據(jù)庫文件夾（如 db02），保留 db01 文件夾，再執(zhí)行 taosdump -i /data/backup，僅恢復(fù) db01。
5. 元數(shù)據(jù)恢復(fù)

若目標(biāo)庫表已存在，元數(shù)據(jù)不會(huì)覆蓋，僅保留現(xiàn)有結(jié)構(gòu)。

表結(jié)構(gòu)有變動(dòng)的備份/恢復(fù)

• TDengine 3.3.6.0 之前版本：若目標(biāo)庫表結(jié)構(gòu)有變動(dòng)（如增刪列），直接恢復(fù)會(huì)失敗。需通過 “舊備份導(dǎo)入新庫→新庫導(dǎo)出新備份→新備份導(dǎo)入目標(biāo)庫” 迂回恢復(fù)。
• TDengine 3.3.6.0 及之后版本：支持表結(jié)構(gòu)增刪列（列名不變僅類型修改仍不支持），恢復(fù)時(shí)新增列以 null 填充。

數(shù)據(jù)管道工具 taosX

taosX 是 TDengine 企業(yè)版專用的數(shù)據(jù)管道工具，定位為 “零代碼數(shù)據(jù)集成平臺(tái)”，核心功能覆蓋數(shù)據(jù)接入、同步、備份、恢復(fù)及遷移。支持跨集群 / 實(shí)例的異步數(shù)據(jù)復(fù)制，可作為橋梁對(duì)接 TDengine 與第三方數(shù)據(jù)源（如關(guān)系型數(shù)據(jù)庫、消息隊(duì)列等）。

優(yōu)缺點(diǎn)分析：

• 優(yōu)點(diǎn)：功能全面（支持增量備份、斷點(diǎn)續(xù)備等）、速度快、導(dǎo)出格式多樣（CSV/Parquet 列存）。
• 缺點(diǎn)：社區(qū)版不支持、使用復(fù)雜度高。

工具獲取

隨企業(yè)版安裝包內(nèi)置，部分生態(tài)對(duì)接組件需單獨(dú)安裝。

核心功能

taosX 功能豐富，覆蓋數(shù)據(jù)全生命周期管理，具體包括：

1. 數(shù)據(jù)備份與恢復(fù)：支持增量備份 / 恢復(fù)（3.3.x + 版本支持圖形化操作）、斷點(diǎn)續(xù)備，備份文件格式支持 CSV 和 Parquet（列存）。
2. 數(shù)據(jù)遷移與同步 ：
   • 支持基于訂閱（TMQ）的實(shí)時(shí)數(shù)據(jù)同步（3.0 + 版本）和基于 SELECT 的歷史數(shù)據(jù)遷移（2.4+/2.6+/3.0 + 版本）。
   • 支持歷史數(shù)據(jù)（history 模式）、實(shí)時(shí)數(shù)據(jù)（realtime 模式）、混合（both 模式）遷移。
   • 任務(wù)支持進(jìn)度保存，異?；謴?fù)后可續(xù)傳。
3. 跨集群復(fù)制 ：支持?jǐn)?shù)據(jù)庫或（超級(jí)）表的全量 / 增量復(fù)制，可選擇列級(jí)復(fù)制、模式（schema）復(fù)制，表名支持正則匹配。
4. 外部數(shù)據(jù)源接入 ：
   • 關(guān)系型數(shù)據(jù)庫：MySQL、Oracle、PostgreSQL、Microsoft SQL Server。
   • 時(shí)序數(shù)據(jù)庫：OpenTSDB、InfluxDB。
   • 工業(yè)實(shí)時(shí)數(shù)據(jù)庫：PI System、Aveva Historian。
   • 消息隊(duì)列：Kafka。
   • 其他常見協(xié)議：OPC-UA/DA、MQTT。
5. 數(shù)據(jù)轉(zhuǎn)換（Transform）：支持對(duì)輸入流進(jìn)行過濾、映射、聚合等處理，處理后數(shù)據(jù)流入目標(biāo)端。
6. 雙活部署管理 ：通過 taosx replica 系列命令管理主備集群同步任務(wù)，支持任務(wù)啟動(dòng)、停止、重啟及進(jìn)度查看 。
7. 可視化操作 ：可通過 taos-explorer（Web 界面）配置數(shù)據(jù)遷移任務(wù)、監(jiān)控任務(wù)狀態(tài)（如數(shù)據(jù)寫入量、延時(shí)等）。

備份/恢復(fù)步驟：

一、備份步驟

1. 配置備份任務(wù)參數(shù)（命令行方式）

• –from 參數(shù) （源端配置）：
  • auto.offset.reset=latest&experimental.snapshot.enable=false：不備份歷史數(shù)據(jù)，從當(dāng)前 WAL 最新位置開始備份。
  • upcoming：指定下次執(zhí)行備份任務(wù)的時(shí)間（如now表示立即開始）。
  • interval：兩次備份任務(wù)的間隔（如interval=60s表示每 60 秒執(zhí)行一次）。
  • self.repeat=true：開啟持續(xù)重復(fù)調(diào)度。
• –to 參數(shù) （目標(biāo)端配置）：
  • move.to：備份文件寫入完成后，移動(dòng)到指定目錄（如/data/send）。

2. 啟動(dòng)備份任務(wù) 使用nohup方式后臺(tái)啟動(dòng)備份任務(wù)，示例命令（以跨隔離場(chǎng)景為例）：

nohup taosx backup 
    --from "auto.offset.reset=latest
            &experimental.snapshot.enable=false
            &upcoming=now
            &interval=60s
            &self.repeat=true" 
    --to "move.to=/data/send"     
    > backup.log 2>&1 &

此命令會(huì)持續(xù)生成增量備份文件到本地路徑，并在完成后移動(dòng)至 /data/send/ 目錄。

3. 圖形化操作（3.3.x + 版本） 通過taos-explorer（Web 界面，訪問地址如http://<集群IP>:6060）配置備份任務(wù)：
   • 進(jìn)入 “系統(tǒng)管理 – 備份” 頁面，點(diǎn)擊 “新增備份”。
   • 配置參數(shù)：備份周期（每天 / 每 7 天 / 每 30 天）、目標(biāo)數(shù)據(jù)庫（需wal_retention_period>0）、備份目錄（如/root/data_backup）。
   • 點(diǎn)擊 “確定” 后任務(wù)啟動(dòng)，支持監(jiān)控任務(wù)狀態(tài)（數(shù)據(jù)寫入量、延時(shí)等）。

二、恢復(fù)步驟

1. 配置恢復(fù)任務(wù)參數(shù)（命令行方式）
   •  post_action=del ：恢復(fù)完成后自動(dòng)刪除備份文件（避免重復(fù)恢復(fù)）。
2. 啟動(dòng)恢復(fù)任務(wù) 在目標(biāo)集群使用nohup啟動(dòng)恢復(fù)任務(wù)，示例命令：

nohup taosx restore --from "/data/receive" --post_action=del > restore.log 2>&1 &

此命令會(huì)監(jiān)聽接收目錄（如/data/receive），解析并寫入增量備份文件到目標(biāo) TDengine 集群。

3. 圖形化操作（3.3.x + 版本） 在taos-explorer的 “系統(tǒng)管理 – 備份” 頁面中：
   • 進(jìn)入 “備份文件” 列表，選擇需恢復(fù)的備份點(diǎn)。
   • 點(diǎn)擊 “數(shù)據(jù)恢復(fù)” 按鈕，選擇目標(biāo)數(shù)據(jù)庫后完成恢復(fù)。

數(shù)據(jù)庫管理工具 taos-CLI

taos-CLI 工具是 TDengine 自帶的數(shù)據(jù)庫管理工具（社區(qū)版及企業(yè)版均支持），其備份及恢復(fù)功能主要通過 CSV 文件實(shí)現(xiàn)，工具適合小數(shù)據(jù)量臨時(shí)備份場(chǎng)景，操作簡(jiǎn)單但性能有限，需結(jié)合實(shí)際需求選擇使用。

優(yōu)缺點(diǎn)分析：

• 優(yōu)點(diǎn)：操作簡(jiǎn)單，可靈活備份任意查詢結(jié)果（如特定子表、部分列或自定義查詢結(jié)果）。
• 缺點(diǎn)：僅支持單線程操作，速度較慢，適用于小數(shù)據(jù)量的臨時(shí)備份。

工具獲取

taos-CLI 工具內(nèi)置于 TDengine 社區(qū)版及企業(yè)版中，無需額外安裝。

備份操作

備份時(shí)主要通過taos命令行的重定向符號(hào)>>將查詢結(jié)果導(dǎo)出為 CSV 文件，支持以下場(chǎng)景：

• 子表整體備份 ：直接導(dǎo)出子表的所有數(shù)據(jù)。 示例（導(dǎo)出子表child_table）：

SELECT * FROM child_table >> /path/to/backup.csv

• 查詢結(jié)果備份 ：導(dǎo)出特定查詢條件的結(jié)果（如時(shí)間范圍、過濾條件）。 示例（導(dǎo)出 2025-06-01 至 2025-06-30 的數(shù)據(jù)）：

SELECT * FROM sensor_data 
      WHERE ts BETWEEN '2025-06-01' AND '2025-06-30' 
      >> /path/to/query_backup.csv

• 部分列備份 ：僅導(dǎo)出指定列的數(shù)據(jù)（適用于表結(jié)構(gòu)變化大的遷移場(chǎng)景）。 示例（導(dǎo)出id和value列）：

SELECT id, valueFROM sensor_data >> /path/to/partial_columns_backup.csv

恢復(fù)操作

恢復(fù)時(shí)需注意刪除 CSV 文件的第一行標(biāo)題行（避免列名被誤導(dǎo)入），并根據(jù)備份列數(shù)據(jù)類型選擇對(duì)應(yīng)語法：

• 子表整體恢復(fù) ：直接將 CSV 數(shù)據(jù)導(dǎo)入目標(biāo)子表。 示例（導(dǎo)入到子表child_table）：

INSERTINTO child_table FILE /path/to/backup.csv;

• 部分列恢復(fù) ：需明確指定目標(biāo)表的列名，確保 CSV 文件的列順序與指定列一致。 示例（導(dǎo)入到target_table的id和value列）：

INSERTINTO target_table (id, value) FILE /path/to/partial_columns_backup.csv;

庫文件備份

庫文件備份是指直接備份 TDengine 中 dataDir 指向的數(shù)據(jù)庫文件目錄，屬于整體備份方式，主要用于災(zāi)備場(chǎng)景（如 TDengine 無法啟動(dòng)時(shí)），類似于制作數(shù)據(jù)庫鏡像。

優(yōu)缺點(diǎn)分析：

• 優(yōu)點(diǎn)：不依賴于 TDengine 服務(wù)，備份速度快。
• 缺點(diǎn)：恢復(fù)時(shí) TDengine 版本要與備份時(shí)保持一致，同時(shí)全部數(shù)據(jù)（包括元數(shù)據(jù)）只能整體恢復(fù)至備份時(shí)。

工具獲取

無工具，使用系統(tǒng) copy 命令。

備份操作

備份操作建議結(jié)合自動(dòng)化腳本定期執(zhí)行，以提升可靠性。

1. 備份范圍 ：
   • 不需要備份的文件夾 ：WAL（預(yù)寫日志）文件夾（通常較大，無需備份）。
   • 多副本場(chǎng)景 ：僅需備份主副本（leader）的數(shù)據(jù)，無需備份所有副本。
   • 集群場(chǎng)景 ：多節(jié)點(diǎn)應(yīng)在相同時(shí)間點(diǎn)備份，以減少節(jié)點(diǎn)間數(shù)據(jù)差異。
2. 備份時(shí)機(jī) ：
   • 理想情況 ：停止 TDengine 服務(wù)后備份，確保數(shù)據(jù)一致性。
   • 生產(chǎn)環(huán)境（熱備份） ：若無法停止服務(wù)，可執(zhí)行 flush database <dbname> 命令強(qiáng)制內(nèi)存數(shù)據(jù)落盤，再進(jìn)行備份。

恢復(fù)操作

建議手動(dòng)操作，明確自己在做什么，以保證數(shù)據(jù)安全，恢復(fù)前需停止服務(wù)。

1. 前置條件 ：
   • 必須停止 TDengine 服務(wù)。
   • TDengine 版本請(qǐng)與備份時(shí)保持一致。
2. 恢復(fù)方式 ：
   • 完整恢復(fù) ：需基于完整的備份目錄恢復(fù)?？尚薷?dataDir 參數(shù)指向備份目錄；若使用原目錄，需清空原目錄后替換（不可新舊混合）。
   • 多副本恢復(fù) ：
     • 若為全量備份，與完整恢復(fù)操作相同。
     • 若僅備份了 leader 數(shù)據(jù)，需將 leader 備份文件復(fù)制到其他副本節(jié)點(diǎn)。
   • 集群恢復(fù) ：所有節(jié)點(diǎn)必須使用同一備份數(shù)據(jù)恢復(fù)，僅恢復(fù)部分節(jié)點(diǎn)可能導(dǎo)致啟動(dòng)失敗或不可預(yù)期問題。

結(jié)語

TDengine 提供的四種備份 / 恢復(fù)方法各有優(yōu)劣與適用場(chǎng)景：

• taosdump ：社區(qū)版首選，適合小到中數(shù)據(jù)量的開放格式備份；
• taosX ：企業(yè)版推薦，功能全面，支持復(fù)雜遷移與增量操作；
• taos-CLI ：輕量臨時(shí)備份，適合小數(shù)據(jù)量靈活導(dǎo)出；
• 庫文件備份 ：災(zāi)備場(chǎng)景必選，離線操作但覆蓋全量數(shù)據(jù)；

企業(yè)需結(jié)合數(shù)據(jù)規(guī)模、可用資源、場(chǎng)景需求（如災(zāi)備 / 遷移 / 臨時(shí)備份），選擇單一或組合方案，確保數(shù)據(jù)安全與業(yè)務(wù)穩(wěn)定。你目前用的是哪種備份方式？有沒有踩過什么坑，或者有什么實(shí)用經(jīng)驗(yàn)？歡迎在評(píng)論區(qū)分享！