在不久前的“2024，我想和 TDengine 談談”征文活動中，我們收到了許多精彩的投稿，反映了用戶與 TDengine 之間的真實故事和獨特見解。今天，我們很高興地分享此次活動的第一名作品。這篇文章詳細闡述了廣西多元量化科技有限公司如何利用 TDengine 構建高效的量化交易系統(tǒng)，提升交易效率和決策質量。通過深入分析數據庫選型和數據架構設計，作者展示了 TDengine 在金融領域的強大優(yōu)勢和廣泛應用前景。接下來讓我們一同閱讀，探索這一前沿技術如何推動現代金融交易的智能化與高效化。

我們的核心產品是多元量化 App，旨在以客戶的舒心與安心為本，共同創(chuàng)造智能交易的新體驗，讓每個人都能輕松玩轉 AI 量化。該 App 面向各層次用戶，支持手機和電腦端使用，確保隨時隨地享受便捷、高效的量化交易體驗。核心優(yōu)勢在于強大的交易策略構建能力，提供零代碼 AI 策略、DO 語言策略以及 Python 語言策略，滿足不同用戶的需求。

此外，該系統(tǒng)還支持實時行情、AI 智選、一鍵配置、拆單算法、深度回測及信息實時推送服務，確保用戶不錯過任何重要市場動態(tài)。多元量化 App 致力于為投研者和金融機構提供全面的量化解決方案，通過先進的技術手段提升交易效率和決策質量，實現資產的穩(wěn)健增長。

數據庫選型

多元量化 App 本身是一套大數據 AI 處理系統(tǒng)，涉及各交易平臺的海量交易數據，對數據存儲、處理、響應及安全等方面有極高的要求。數據庫選型直接影響系統(tǒng)的性能、可擴展性、數據一致性和可靠性，對交易行情系統(tǒng)的開發(fā)至關重要。理想的數據庫需要確保交易數據的快速讀寫，支持高并發(fā)訪問，并提供必要的數據備份和恢復機制，保障數據安全。此外，考慮到交易行情系統(tǒng)的實時性要求，數據庫還需具備高效的事務處理能力和低延遲的數據訪問特性。

多元量化 App 在初始開發(fā)階段及功能升級過程中，每次系統(tǒng)迭代到一定體量，數據庫的性能都會成為系統(tǒng)的瓶頸，因此設計一個合適的數據庫方案顯得尤為重要。

在數據庫選型方面，我們重點考慮以下幾點：

1. 選擇一個高效、穩(wěn)定且可擴展的數據庫系統(tǒng)，以確保大數據處理的實時性和準確性。
2. 數據模型的適應性也是選型時需要考慮的因素。多元量化 AI 策略交易系統(tǒng)需要實時從各交易平臺提取交易行情，因此數據庫應具備足夠的靈活性，以適配不同類型的金融數據。選擇與大數據系統(tǒng)需求相匹配的數據模型，可以提高數據存儲和查詢的效率?？紤]到金融行業(yè)的特殊性和監(jiān)管要求，數據的可訪問性也非常重要，用戶及合作方可以方便快捷地訪問和查詢所需數據。
3. 數據庫的可擴展性對于大數據系統(tǒng)來說也很重要。隨著系統(tǒng)功能的迭代，數據量的不斷增長，數據庫需要支持水平或垂直擴展，以適應數據量的增加，避免性能瓶頸。
4. 數據庫的安全性非常關鍵。由于交易數據涉及敏感信息，選擇具備高級安全特性的數據庫可以有效保護數據不被未授權訪問或泄露。
5. 成本效益分析也是數據庫選型時需要考慮的。除了初始投資成本外，還需考慮維護成本、運營成本及長期可支持性。

在多元量化交易系統(tǒng)研發(fā)初期，我們使用的是基于 PostgreSQL 的時序數據庫——TimescaleDB，它結合了傳統(tǒng)關系型數據庫的功能與時序數據存儲和查詢的優(yōu)化。然而，隨著系統(tǒng)和數據逐步擴展，TimescaleDB 的問題逐漸顯現：

寫入性能

由于量化系統(tǒng)數據寫入存在高并發(fā)，TimescaleDB 在高吞吐量寫入時出現瓶頸，同時增大了硬件系統(tǒng)的工作負載。

讀取延時

盡管 TimescaleDB 使用了多種索引和機制來加速查詢，但在需要掃描大量歷史數據的回測功能中，仍然存在延遲。

空間占用

由于 TimescaleDB 是基于 PostgreSQL 實現，并且為了支持高效的時序數據管理增加了額外的數據結構，因此在存儲相同數量的數據時占用更多的磁盤空間，這對每日處理海量行情數據的量化系統(tǒng)非常不利。

根據行情模塊技術開發(fā)和拓展需求，以及后期運營拓展的考量，我們需要對整個時序數據庫（Time Series Database）進行迭代，通過對目前常用的數據庫類型進行評判和分析：

1. ClickHouse：面臨的問題包括高昂的運維成本、復雜的擴展過程以及對資源的大量需求。
2. InfluxDB：擅長高效查詢和存儲時序數據，廣泛用于監(jiān)控數據和物聯網行業(yè)的實時數據處理，但其集群功能尚未開源。
3. TDengine：在性能、成本和運維簡易性方面表現良好，支持水平擴展，并具備高可用性。

針對行情數據的時效性需求，時序數據庫是最合適的存儲解決方案。通過對比，我們發(fā)現，在相同的數據集和硬件條件下，TDengine 的寫入速度遠超 InfluxDB。此外，TDengine 還提供豐富的數據接口支持，包括 C/C++、Java、Python、Go 和 RESTful 等，滿足各種開發(fā)需求。

因此，我們最終選擇了 TDengine。

建模及應用

多元量化 AI 策略交易系統(tǒng)需從多個交易所中提取大量行情數據。數據提取呈現以下特點：

Tick 快照數據

1. 每日生成超過億條記錄；
2. 快照數據需長期保留，且頻繁調用。

Daily 數據

1. 多子表結構，每日新增約 20 萬張；
2. 數據量巨大，每秒約 6 萬條數據寫入；
3. 數據需長期保存。

通用特性

1. 數據格式固定，并附帶時間戳；

2. 數據幾乎無需更新或刪除；

3. 標簽列數量少且穩(wěn)定；

4. 單條記錄的字段數量少、數據量小?；?TDengine 推薦的數據架構，我們將針對不同特性的數據分別構建獨立的數據庫，并根據各自特性進行參數優(yōu)化。在每個數據庫中，根據數據品種（如期貨、期權等）創(chuàng)建超級表，并將標的實體的標簽信息直接作為超級表的標簽字段，以此為不同品種的數據創(chuàng)建子表。此數據模型的構建方式高度契合了我們的數據特性和應用場景。

當前，我們的業(yè)務主要面向國內的期貨和期權市場，股票業(yè)務仍在研發(fā)階段。數據庫的應用分為離線業(yè)務（回測）和實時業(yè)務兩部分。回測用于計算基本框架和參數范圍，實時業(yè)務結合最新數據對框架進行動態(tài)調整，二者相輔相成，共同生成交易策略。

在數據寫入方面，TDengine 輕松滿足了上述業(yè)務需求。在數據查詢方面，針對離線和在線業(yè)務，我們主要使用如下兩類高頻 SQL 查詢。由于 TDengine 支持緩存最新數據，并采用順序讀取機制，即使在高并發(fā)查詢下也毫無壓力，均可實現毫秒級返回。這為我們在離線與實時數據分析中提供了堅實的技術保障。

在線查詢：

SELECT last_row(*) FROM tick_CZCE_SA501;

離線查詢:

SELECT * FROM tick_CZCE_SA501 WHERE ts < '2024-10-09 15:00:00.000' ORDER BY ts DESC LIMIT 1000;

實施經驗分享

為確保數據的穩(wěn)定高效獲取，實施過程中需要重點考慮查詢性能、線上數據更新和運維情況。在此過程中，我們參考了官方博客中同花順在 TDengine 上處理類似行情數據的解決方案。

最終，我們選擇了如下硬件配置來搭建數據庫：雙路 AMD 48 核 96 線程 CPU，128GB 內存，8TB 固態(tài)硬盤。當前系統(tǒng)每日負載情況如下：CPU 使用率平均約為 20%，內存使用率 20%，數據壓縮率控制在 10% 以內。

TDengine 的最大優(yōu)勢在于處理大規(guī)模時序數據，非常適合金融行情數據（如期貨、期權價格及交易記錄）。這些數據的特點在于高頻寫入、固定查詢模式，且通?；跁r間范圍進行聚合或分析。然而，作為一款金融應用系統(tǒng)，除了時序數據外，還涉及大量其他類型的數據和復雜的業(yè)務邏輯需求，因此我們仍然保留了 PostgreSQL 關系數據庫，以支持多樣化的數據需求。

結語

TDengine 在成本控制、性能表現和用戶友好性方面表現出色，尤其在成本節(jié)約方面尤為突出。展望未來，我們期待 TDengine 持續(xù)優(yōu)化其性能和穩(wěn)定性。同時，我們將基于業(yè)務需求開展二次開發(fā)，并積極向社區(qū)分享成果，共同推動 TDengine 的進步與發(fā)展。

關于多元量化

廣西多元量化科技有限公司成立于 2023 年，是一家專注于人工智能技術研發(fā)與應用的領先企業(yè)。其致力于將大數據與人工智能相結合，服務于金融資產管理系統(tǒng)。多元量化提供程序化快速交易系統(tǒng)、量化策略開發(fā)及植入服務，結合先進的 IT 技術與豐富的行業(yè)經驗，為機構和投資者量身定制高效的量化解決方案。多元量化產品線涵蓋行情分析系統(tǒng)、程序化智能交易系統(tǒng)、策略模型平臺和量化資產管理平臺，并提供專屬定制服務，滿足客戶的多樣化需求。