在鋼鐵行業(yè)的生產(chǎn)、運(yùn)輸、治理等環(huán)節(jié)中，都會涉及大量時(shí)序數(shù)據(jù)的存儲分析、運(yùn)維監(jiān)控等操作，每日產(chǎn)生的數(shù)據(jù)量甚至高達(dá)億級，而傳統(tǒng)的工業(yè)實(shí)時(shí)數(shù)據(jù)庫與關(guān)系型數(shù)據(jù)庫，都難以應(yīng)對這種數(shù)量級的數(shù)據(jù)處理需求，想要保證業(yè)務(wù)發(fā)展，則亟需更為專業(yè)的時(shí)序數(shù)據(jù)庫（Time Series Database，TSDB）。本篇文章匯總了三大鋼鐵行業(yè)數(shù)據(jù)治理場景下的數(shù)據(jù)架構(gòu)升級方案，供有相關(guān)業(yè)務(wù)需求的開發(fā)者參考。

中天鋼鐵 x TDengine

“目前 TDengine 在我們的生產(chǎn)環(huán)境中運(yùn)行平穩(wěn)，通過對生產(chǎn)環(huán)境的機(jī)器進(jìn)行檢測，CPU 使用率平常不到 1%，內(nèi)存使用率穩(wěn)定在 25%。在 TDengine 平穩(wěn)運(yùn)行的數(shù)周時(shí)間里，中天鋼鐵的新系統(tǒng)平均每周收錄 3000 多輛車輛表與 100 多條船只表，每張表中數(shù)據(jù)或多或少，累計(jì)數(shù)量已達(dá)百萬，業(yè)務(wù)的實(shí)際效果也達(dá)到了預(yù)期?！?/p>

業(yè)務(wù)背景

為了滿足業(yè)務(wù)發(fā)展需求，中天鋼鐵需要新開發(fā)一套功能，對廠內(nèi)每輛運(yùn)輸車輛貨運(yùn)船只的實(shí)時(shí) GPS 位置進(jìn)行追蹤和實(shí)時(shí)監(jiān)控，通過大數(shù)據(jù)平臺對 GPS 坐標(biāo)進(jìn)行處理、分析、可視化展示。這些 GPS 數(shù)據(jù)來自于中天云商 App，只要運(yùn)輸車輛司機(jī)打開云商 App，系統(tǒng)每隔 10 秒會自動發(fā)送該車輛 GPS 信號到大數(shù)據(jù)平臺，再由大數(shù)據(jù)平臺分析處理，數(shù)據(jù)量之大可見一斑。本質(zhì)上來講，行車記錄、行船記錄都是時(shí)序數(shù)據(jù)，也因此，從數(shù)據(jù)特點(diǎn)出發(fā)中天鋼鐵開始對時(shí)序數(shù)據(jù)庫進(jìn)行選型調(diào)研，在進(jìn)行性能對比后選擇了 TDengine。

架構(gòu)圖

鋼鐵行業(yè)能源管理系統(tǒng) x TDengine

“TDengine 是濤思數(shù)據(jù)面對高速增長的物聯(lián)網(wǎng)大數(shù)據(jù)市場和技術(shù)挑戰(zhàn)推出的創(chuàng)新性大數(shù)據(jù)處理產(chǎn)品，在時(shí)序空間大數(shù)據(jù)處理上，有著自己獨(dú)到的優(yōu)勢。TDengine 單核每秒能處理至少 2 萬次請求，插入數(shù)百萬個(gè)數(shù)據(jù)點(diǎn)，讀出一千萬以上數(shù)據(jù)點(diǎn)，比現(xiàn)有通用數(shù)據(jù)庫快十倍以上，也遠(yuǎn)遠(yuǎn)超出了 InSQL、PI 這兩個(gè)工業(yè)實(shí)時(shí)數(shù)據(jù)庫的讀寫能力?！?/p>

業(yè)務(wù)背景

湖北某特鋼公司的電力能源介質(zhì)的計(jì)量，是通過 TBox 工控網(wǎng)關(guān)采集多功能電表來實(shí)現(xiàn)的，需要完善并實(shí)現(xiàn)“峰谷平尖”電能量費(fèi)率計(jì)量和能源報(bào)表。項(xiàng)目一期首先要求采集電能量數(shù)據(jù)，每天產(chǎn)生的數(shù)據(jù)量在 2800 萬條以上，項(xiàng)目二期如果再接入非電數(shù)據(jù)，每天產(chǎn)生的數(shù)據(jù)量預(yù)估在 1 億條左右，數(shù)據(jù)處理壓力劇增。TBox 工控網(wǎng)關(guān)基于前期項(xiàng)目實(shí)施和實(shí)際應(yīng)用需求提供了完整的技術(shù)方案，包含從電表采集電能數(shù)據(jù)并寫入 TDengine 時(shí)序數(shù)據(jù)庫，再經(jīng)過 ETL 工具處理后轉(zhuǎn)存到 Oracle database，從而滿足企業(yè)一期電能量數(shù)據(jù)報(bào)表對實(shí)時(shí)數(shù)據(jù)采集和存儲的要求。

架構(gòu)圖

鋼鐵行業(yè)節(jié)能減排項(xiàng)目 x TDengine

“TDengine 存儲 26 億行數(shù)據(jù)情況下，占用的磁盤空間只有 2.8GB，而實(shí)際上入庫的原數(shù)據(jù)大小應(yīng)為 30GB，其列式存儲壓縮率可以達(dá)到驚人的 10%，我們準(zhǔn)備了 1.8TB 磁盤，目前只用了千分之一。基于超級表特性，我們還從結(jié)構(gòu)上省下了 26 億行的標(biāo)簽數(shù)據(jù)，想象一下如果該表的每一行數(shù)據(jù)都還要帶上這幾個(gè)數(shù)據(jù)（type，sendorid，opcid，合計(jì) 436 字節(jié)），那其原本數(shù)據(jù)量直接就會達(dá)到 TB 級別，就算壓縮率再好也要占用百 GB 級別的存儲?！?/p>

業(yè)務(wù)背景

由邯鋼牽頭的“十三五”水專項(xiàng)“鋼鐵行業(yè)水污染全過程控制技術(shù)系統(tǒng)集成與綜合應(yīng)用示范”課題中，深度（平潭）科技承擔(dān)了“提高水循環(huán)利用的分質(zhì)/分級供水技術(shù)、水系統(tǒng)優(yōu)化和水網(wǎng)絡(luò)智慧管理”的研究任務(wù)，創(chuàng)新開發(fā)了具有自主知識產(chǎn)權(quán)的“鋼鐵聯(lián)合企業(yè)全過程節(jié)水減排專家管理系統(tǒng)智慧平臺”。平臺應(yīng)用過程中會有海量數(shù)據(jù)產(chǎn)生，數(shù)據(jù)的實(shí)時(shí)寫入成為一大難題，計(jì)算分析、報(bào)警預(yù)警等功能實(shí)現(xiàn)也面臨巨大挑戰(zhàn)。最初使用的 Kafka+Storm+HDFS 的組合方案，在面對每天處理將近一億條數(shù)據(jù)壓力下，數(shù)據(jù)讀取、一致性等性能下滑，運(yùn)維部署成本顯著增加?；诖?，他們決定更換數(shù)據(jù)庫方案，并在選型調(diào)研后開始應(yīng)用 TDengine。

TDengine 中間性試驗(yàn)數(shù)據(jù)

結(jié)語

從以上案例出發(fā)，總結(jié)而言，TDengine 針對時(shí)序數(shù)據(jù)的寫入、存儲、索引、查詢等方面都進(jìn)行了特定的優(yōu)化，從而實(shí)現(xiàn)了更優(yōu)的數(shù)據(jù)加載、壓縮、查詢、寫入性能，非常匹配工業(yè)傳感器數(shù)據(jù)的應(yīng)用分析場景，是助力鋼鐵企業(yè)數(shù)字化轉(zhuǎn)型道路上的一個(gè)好幫手。目前我們已經(jīng)運(yùn)營了幾十個(gè)用戶交流群，來幫助用戶更好地解決問題，如果你想要了解更多，歡迎點(diǎn)擊下方卡片，加入 TDengine 用戶交流群。