為什么出現(xiàn)這個工具

隨著 TDengine Database 用戶量越來越大，用戶各種需求及疑問越來越多，常見的有：

• TDengine 能否支持大數(shù)據(jù)量？查詢和寫入性能怎么樣？
• 沒有實際生產數(shù)據(jù)，只是技術選型調研，下載之后如何快速進行驗證？
• 聽說 TDengine 將歷史和實時數(shù)據(jù)統(tǒng)一，實時寫入和查詢性能怎么樣？
• 我有物聯(lián)網數(shù)據(jù)，如何使用 TDengine 來建模？超級表？子表？

基于以上需求，為了讓用戶能夠快速地體驗 TDengine Database 的寫入和查詢性能，盡可能地結合用戶真實場景使用 TDengine，我們開發(fā)了一款樣例數(shù)據(jù)導入工具。樣例數(shù)據(jù)是指實際應用場景中獲取的一個或多個數(shù)據(jù)采集設備在一段時間內采集的數(shù)據(jù)，比如十臺汽車過去一個月采集的數(shù)據(jù)。測試時使用樣例數(shù)據(jù)，而不是完整的實際場景的數(shù)據(jù)，是完全出于數(shù)據(jù)安全的考慮。

沒有樣例數(shù)據(jù)同樣可快速體驗，內嵌樣例場景數(shù)據(jù)，下載即用。

功能介紹

樣例數(shù)據(jù)導入工具主要包含如下功能：

• 支持自定義場景，可指定數(shù)據(jù)字段、數(shù)據(jù)采集頻率、表（采集點）數(shù)目等
• 支持 csv 和 json 格式樣例數(shù)據(jù)
• 支持將樣例數(shù)據(jù)進行橫向擴展（即將原有一張表或一個設備的數(shù)據(jù)克隆到多張表）
• 支持將樣例數(shù)據(jù)進行縱向擴展（即將原有樣例數(shù)據(jù)時間范圍內的數(shù)據(jù)在時間軸上縱向復制）
• 支持按照指定開始時間和間隔寫入
• 支持按樣例數(shù)據(jù)產生到當前時間之后持續(xù)按原有頻率寫入，以模擬最真實的場景
• 支持多場景同時模擬寫入

基于以上功能，用戶可以嘗試多種方式使用：

1. 快速體驗寫入和查詢
2. 可按照樣例修改成適合自己的場景測試
3. 可進行性能壓測
4. 邊實時寫入數(shù)據(jù)，邊進行各種查詢
5. …

快速體驗

下載樣例導入工具之后直接執(zhí)行 bin/taosimport 即可創(chuàng)建 1000 張子表且每張表各自導入 100000 條記錄。該工具支持各種命令行參數(shù)，比線程數(shù)、橫向擴展倍數(shù)、縱向擴展倍數(shù)等等，以滿足用戶測試的需求。

例如執(zhí)行命令：bin/taosimport -auto 1 -start '2020-01-02 00:00:00.000' -thread 10 -batch 200 -hnum 100 -vnum 0 -db test 將會使用 conf/cfg.toml 配置中的默認場景 sensor_info 從 2020-01-02 00:00:00.000 開始自動導入數(shù)據(jù)，且導入到當前時間后持續(xù)按照原有頻率寫入。

上述命令中各參數(shù)含義如下：

• auto，是否按照指定開始時間導入數(shù)據(jù)，1 是，0 否。
• start，指定數(shù)據(jù)開始導入時間，格式為 “yyyy-MM-dd HH:mm:ss.SSS”。
• thread，導入數(shù)據(jù)使用線程數(shù)。
• batch，每次批量寫入的記錄數(shù)。
• hnum，將樣例數(shù)據(jù)進行橫向擴展的倍數(shù)，即默認場景 sensor_info 的樣例數(shù)據(jù) data/sensor_info.csv 中有 10 張子表，將 hnum 指定為 100 之后會擴展為 1000 張子表。
• vnum，將樣例數(shù)據(jù)時間范圍內的數(shù)據(jù)在時間軸上進行縱向復制的次數(shù)，當設為 0 時代表導入到當前時間后持續(xù)按原有頻率寫入。
• db，寫入指定的 TDengine 數(shù)據(jù)庫。

詳細參數(shù)使用請參考 importSampleData