為什么出現(xiàn)這個(gè)工具

隨著 TDengine Database 用戶量越來越大，用戶各種需求及疑問越來越多，常見的有：

• TDengine 能否支持大數(shù)據(jù)量？查詢和寫入性能怎么樣？
• 沒有實(shí)際生產(chǎn)數(shù)據(jù)，只是技術(shù)選型調(diào)研，下載之后如何快速進(jìn)行驗(yàn)證？
• 聽說 TDengine 將歷史和實(shí)時(shí)數(shù)據(jù)統(tǒng)一，實(shí)時(shí)寫入和查詢性能怎么樣？
• 我有物聯(lián)網(wǎng)數(shù)據(jù)，如何使用 TDengine 來建模？超級(jí)表？子表？

基于以上需求，為了讓用戶能夠快速地體驗(yàn) TDengine Database 的寫入和查詢性能，盡可能地結(jié)合用戶真實(shí)場(chǎng)景使用 TDengine，我們開發(fā)了一款樣例數(shù)據(jù)導(dǎo)入工具。樣例數(shù)據(jù)是指實(shí)際應(yīng)用場(chǎng)景中獲取的一個(gè)或多個(gè)數(shù)據(jù)采集設(shè)備在一段時(shí)間內(nèi)采集的數(shù)據(jù)，比如十臺(tái)汽車過去一個(gè)月采集的數(shù)據(jù)。測(cè)試時(shí)使用樣例數(shù)據(jù)，而不是完整的實(shí)際場(chǎng)景的數(shù)據(jù)，是完全出于數(shù)據(jù)安全的考慮。

沒有樣例數(shù)據(jù)同樣可快速體驗(yàn)，內(nèi)嵌樣例場(chǎng)景數(shù)據(jù)，下載即用。

功能介紹

樣例數(shù)據(jù)導(dǎo)入工具主要包含如下功能：

• 支持自定義場(chǎng)景，可指定數(shù)據(jù)字段、數(shù)據(jù)采集頻率、表（采集點(diǎn)）數(shù)目等
• 支持 csv 和 json 格式樣例數(shù)據(jù)
• 支持將樣例數(shù)據(jù)進(jìn)行橫向擴(kuò)展（即將原有一張表或一個(gè)設(shè)備的數(shù)據(jù)克隆到多張表）
• 支持將樣例數(shù)據(jù)進(jìn)行縱向擴(kuò)展（即將原有樣例數(shù)據(jù)時(shí)間范圍內(nèi)的數(shù)據(jù)在時(shí)間軸上縱向復(fù)制）
• 支持按照指定開始時(shí)間和間隔寫入
• 支持按樣例數(shù)據(jù)產(chǎn)生到當(dāng)前時(shí)間之后持續(xù)按原有頻率寫入，以模擬最真實(shí)的場(chǎng)景
• 支持多場(chǎng)景同時(shí)模擬寫入

基于以上功能，用戶可以嘗試多種方式使用：

1. 快速體驗(yàn)寫入和查詢
2. 可按照樣例修改成適合自己的場(chǎng)景測(cè)試
3. 可進(jìn)行性能壓測(cè)
4. 邊實(shí)時(shí)寫入數(shù)據(jù)，邊進(jìn)行各種查詢
5. …

快速體驗(yàn)

下載樣例導(dǎo)入工具之后直接執(zhí)行 bin/taosimport 即可創(chuàng)建 1000 張子表且每張表各自導(dǎo)入 100000 條記錄。該工具支持各種命令行參數(shù)，比線程數(shù)、橫向擴(kuò)展倍數(shù)、縱向擴(kuò)展倍數(shù)等等，以滿足用戶測(cè)試的需求。

例如執(zhí)行命令：bin/taosimport -auto 1 -start '2020-01-02 00:00:00.000' -thread 10 -batch 200 -hnum 100 -vnum 0 -db test 將會(huì)使用 conf/cfg.toml 配置中的默認(rèn)場(chǎng)景 sensor_info 從 2020-01-02 00:00:00.000 開始自動(dòng)導(dǎo)入數(shù)據(jù)，且導(dǎo)入到當(dāng)前時(shí)間后持續(xù)按照原有頻率寫入。

上述命令中各參數(shù)含義如下：

• auto，是否按照指定開始時(shí)間導(dǎo)入數(shù)據(jù)，1 是，0 否。
• start，指定數(shù)據(jù)開始導(dǎo)入時(shí)間，格式為 “yyyy-MM-dd HH:mm:ss.SSS”。
• thread，導(dǎo)入數(shù)據(jù)使用線程數(shù)。
• batch，每次批量寫入的記錄數(shù)。
• hnum，將樣例數(shù)據(jù)進(jìn)行橫向擴(kuò)展的倍數(shù)，即默認(rèn)場(chǎng)景 sensor_info 的樣例數(shù)據(jù) data/sensor_info.csv 中有 10 張子表，將 hnum 指定為 100 之后會(huì)擴(kuò)展為 1000 張子表。
• vnum，將樣例數(shù)據(jù)時(shí)間范圍內(nèi)的數(shù)據(jù)在時(shí)間軸上進(jìn)行縱向復(fù)制的次數(shù)，當(dāng)設(shè)為 0 時(shí)代表導(dǎo)入到當(dāng)前時(shí)間后持續(xù)按原有頻率寫入。
• db，寫入指定的 TDengine 數(shù)據(jù)庫。

詳細(xì)參數(shù)使用請(qǐng)參考 importSampleData