小T導(dǎo)讀：在金融市場飛速發(fā)展的當下，行情數(shù)據(jù)的處理與分析已成為金融機構(gòu)高效決策的關(guān)鍵支撐。華銳技術(shù)推出了華銳新一代歷史行情中心——D5 平臺，全面支持信創(chuàng)環(huán)境下的時序型歷史行情數(shù)據(jù)庫，具備海量數(shù)據(jù)存儲能力，顯著提升數(shù)據(jù)提取效率。相比傳統(tǒng)方案，歷史行情數(shù)據(jù)查詢性能實現(xiàn)數(shù)倍提升。本文將深入解析 TDengine 在 D5 平臺中的應(yīng)用實踐，展示其在數(shù)據(jù)建模、性能優(yōu)化、成本控制、運維簡化等方面帶來的核心優(yōu)勢。

作為分布式低時延技術(shù)的引領(lǐng)者，華銳技術(shù)致力于為金融機構(gòu)提供高性能行情解決方案。在傳統(tǒng)的行情處理中，傳統(tǒng)數(shù)據(jù)庫面臨著數(shù)據(jù)量大、處理效率低、存儲成本高等諸多挑戰(zhàn)。面對日益增長的市場數(shù)據(jù)，金融機構(gòu)亟需一種具備高并發(fā)處理、高可擴展性和低運維成本的新一代行情數(shù)據(jù)庫，以應(yīng)對更嚴苛的數(shù)據(jù)挑戰(zhàn)。

TDengine 的落地實踐

在 D5 平臺中，時序數(shù)據(jù)庫 TDengine 作為歷史行情數(shù)據(jù)庫 HDB 的核心組件，與行情持久化適配器 DPS、歷史行情服務(wù) HQS 等模塊深度協(xié)同。憑借 TDengine 的產(chǎn)品優(yōu)勢，D5 平臺顯著提升了客戶在歷史行情數(shù)據(jù)獲取方面的體驗，有力支撐了歷史查詢、行情回放、證券信息檢索等關(guān)鍵服務(wù)。

平臺架構(gòu)如下圖所示：

歷史行情建模

D5 平臺的歷史行情數(shù)據(jù)覆蓋了滬深交易所、中金所、大商所、鄭商所、上期所、上海能源所、北交所、港交所、外匯交易中心本幣市場等主要交易場所，涵蓋現(xiàn)貨、固收債券、基金、衍生品等多種品類，實現(xiàn)對國內(nèi)主要交易市場和品種的全行情支持。這類數(shù)據(jù)組織結(jié)構(gòu)復(fù)雜，若采用傳統(tǒng)關(guān)系型建模方式，管理難度高、維護成本大。

基于 TDengine“一個設(shè)備一張表”的建模理念，D5 平臺在構(gòu)建歷史行情數(shù)據(jù)模型時，按證券市場和證券代碼進行分類，將每支證券簡化為一張子表，實現(xiàn)對全市場各類證券的統(tǒng)一管理和高效存儲，大幅降低了數(shù)據(jù)建模和運維復(fù)雜度，同時顯著提升查詢性能。

如圖所示，平臺將證券市場和證券代碼抽象為 TAG，在一張超級表下統(tǒng)一管理所有市場的 K 線數(shù)據(jù)。每支證券作為子表，記錄其在每個時點的開盤價、最高價、收盤價、成交量、成交額等關(guān)鍵指標。

借助 TDengine 的時序數(shù)據(jù)特性，平臺可通過 TAG 標簽組織管理不同市場和品種的數(shù)據(jù)，同時通過數(shù)據(jù)分區(qū)分片機制，實現(xiàn)按市場、品種、證券維度的高效檢索。

從這一機制出發(fā)，平臺按不同 K 線周期（1 分、3 分、5 分、10 分、15 分、30 分、60 分、120 分、日、周、月、年）分別建立超級表，覆蓋各類時間粒度的查詢需求，從而實現(xiàn)全市場的 K 線極速查詢。

納秒級大規(guī)模數(shù)據(jù)存儲與檢索

以 Level-2 行情數(shù)據(jù)為例，D5 平臺借助 TDengine 強大的存儲與計算能力，構(gòu)建了納秒級快照超級表，用于存儲全市場行情數(shù)據(jù)，單表數(shù)據(jù)量超百億條。

在傳統(tǒng)關(guān)系型數(shù)據(jù)庫中，查詢一天滬深全品種的歷史快照數(shù)據(jù)往往需要長達 50 分鐘；而基于 TDengine 解決方案，最快僅需 17 秒即可完成同等查詢，效率提升超過百倍。

憑借極高的壓縮比和卓越的查詢性能，TDengine 顯著提升了歷史行情服務(wù)的存儲和訪問效率，為投研人員提供了更快速、更便捷的數(shù)據(jù)支持，加速策略開發(fā)與決策過程。

超大數(shù)據(jù)量導(dǎo)入

在項目落地過程中，華銳技術(shù)團隊也曾面臨挑戰(zhàn)。例如，項目初期在進行歷史數(shù)據(jù)遷移時，由于數(shù)據(jù)量大且格式復(fù)雜，使用 taosdump 命令導(dǎo)入 CSV 格式的歷史數(shù)據(jù)時出現(xiàn)了部分數(shù)據(jù)導(dǎo)入速度較慢的問題。通過與 TDengine 開發(fā)團隊緊密協(xié)作，我們對數(shù)據(jù)格式進行了優(yōu)化調(diào)整，并完善了數(shù)據(jù)質(zhì)檢與回補機制，在保證導(dǎo)入性能的基礎(chǔ)上，也確保了數(shù)據(jù)的完整性和準確性。

成本優(yōu)勢

在資源成本方面，得益于 TDengine 的架構(gòu)優(yōu)勢、高壓縮比和高效的資源利用能力，我們存儲 10 年規(guī)模的歷史數(shù)據(jù)，服務(wù)器數(shù)量大幅減少，硬件采購與運維成本也大幅降低。同時，TDengine 的簡單易用性也降低了開發(fā)和運維的難度，進一步提升了團隊的工作效率。

下一步規(guī)劃

華銳技術(shù)計劃進一步拓展 TDengine 在更多業(yè)務(wù)場景中的應(yīng)用，尤其是在構(gòu)建全棧信創(chuàng)體系、全面支持國產(chǎn)化方面發(fā)力。近年來，隨著國家對網(wǎng)絡(luò)與信息安全的高度重視，信創(chuàng)產(chǎn)業(yè)已上升為國家戰(zhàn)略重點，信息化發(fā)展環(huán)境也在持續(xù)演進。利用 TDengine 的高性能優(yōu)勢與國產(chǎn)化能力，華銳技術(shù)將為客戶提供更加完備的信創(chuàng)解決方案。同時，公司也在積極探索 TDengine 在金融其他領(lǐng)域的應(yīng)用潛力，推進復(fù)雜衍生指標計算、多維度數(shù)據(jù)挖掘等行情分析功能的開發(fā)，持續(xù)豐富產(chǎn)品能力，助力客戶實現(xiàn)更全面的數(shù)據(jù)價值挖掘。

關(guān)于華銳技術(shù)

華銳技術(shù)創(chuàng)立于 2016 年，擁有世界領(lǐng)先的分布式低時延技術(shù)，是中國領(lǐng)先的分布式基礎(chǔ)技術(shù)公司和資本市場核心業(yè)務(wù)平臺提供商。公司總部位于深圳，在北京、上海、長沙設(shè)有子公司，業(yè)務(wù)網(wǎng)絡(luò)覆蓋全國。

華銳 AMD 行情產(chǎn)品部是華銳眾多產(chǎn)線之一，致力于打造公司級新一代高速行情服務(wù)平臺，提供行情極速分發(fā)、多數(shù)據(jù)中心行情傳輸、實時行情加工、歷史行情服務(wù)等綜合解決方案。平臺具備高性價比，能夠滿足公司各類系統(tǒng)對行情數(shù)據(jù)的不同需求，現(xiàn)已在多家頭部券商、銀行理財子公司及私募基金穩(wěn)定運行多年，持續(xù)為各類行情消費系統(tǒng)提供超高可用、超低時延的優(yōu)質(zhì)行情服務(wù)。