在不久前的“2024，我想和 TDengine 談?wù)劇闭魑幕顒?dòng)中，我們收到了許多精彩的投稿，反映了用戶與 TDengine 之間的真實(shí)故事和獨(dú)特見(jiàn)解。今天，我們很高興地分享此次活動(dòng)的第一名作品。這篇文章詳細(xì)闡述了廣西多元量化科技有限公司如何利用 TDengine 構(gòu)建高效的量化交易系統(tǒng)，提升交易效率和決策質(zhì)量。通過(guò)深入分析數(shù)據(jù)庫(kù)選型和數(shù)據(jù)架構(gòu)設(shè)計(jì)，作者展示了 TDengine 在金融領(lǐng)域的強(qiáng)大優(yōu)勢(shì)和廣泛應(yīng)用前景。接下來(lái)讓我們一同閱讀，探索這一前沿技術(shù)如何推動(dòng)現(xiàn)代金融交易的智能化與高效化。

我們的核心產(chǎn)品是多元量化 App，旨在以客戶的舒心與安心為本，共同創(chuàng)造智能交易的新體驗(yàn)，讓每個(gè)人都能輕松玩轉(zhuǎn) AI 量化。該 App 面向各層次用戶，支持手機(jī)和電腦端使用，確保隨時(shí)隨地享受便捷、高效的量化交易體驗(yàn)。核心優(yōu)勢(shì)在于強(qiáng)大的交易策略構(gòu)建能力，提供零代碼 AI 策略、DO 語(yǔ)言策略以及 Python 語(yǔ)言策略，滿足不同用戶的需求。

此外，該系統(tǒng)還支持實(shí)時(shí)行情、AI 智選、一鍵配置、拆單算法、深度回測(cè)及信息實(shí)時(shí)推送服務(wù)，確保用戶不錯(cuò)過(guò)任何重要市場(chǎng)動(dòng)態(tài)。多元量化 App 致力于為投研者和金融機(jī)構(gòu)提供全面的量化解決方案，通過(guò)先進(jìn)的技術(shù)手段提升交易效率和決策質(zhì)量，實(shí)現(xiàn)資產(chǎn)的穩(wěn)健增長(zhǎng)。

數(shù)據(jù)庫(kù)選型

多元量化 App 本身是一套大數(shù)據(jù) AI 處理系統(tǒng)，涉及各交易平臺(tái)的海量交易數(shù)據(jù)，對(duì)數(shù)據(jù)存儲(chǔ)、處理、響應(yīng)及安全等方面有極高的要求。數(shù)據(jù)庫(kù)選型直接影響系統(tǒng)的性能、可擴(kuò)展性、數(shù)據(jù)一致性和可靠性，對(duì)交易行情系統(tǒng)的開(kāi)發(fā)至關(guān)重要。理想的數(shù)據(jù)庫(kù)需要確保交易數(shù)據(jù)的快速讀寫，支持高并發(fā)訪問(wèn)，并提供必要的數(shù)據(jù)備份和恢復(fù)機(jī)制，保障數(shù)據(jù)安全。此外，考慮到交易行情系統(tǒng)的實(shí)時(shí)性要求，數(shù)據(jù)庫(kù)還需具備高效的事務(wù)處理能力和低延遲的數(shù)據(jù)訪問(wèn)特性。

多元量化 App 在初始開(kāi)發(fā)階段及功能升級(jí)過(guò)程中，每次系統(tǒng)迭代到一定體量，數(shù)據(jù)庫(kù)的性能都會(huì)成為系統(tǒng)的瓶頸，因此設(shè)計(jì)一個(gè)合適的數(shù)據(jù)庫(kù)方案顯得尤為重要。

在數(shù)據(jù)庫(kù)選型方面，我們重點(diǎn)考慮以下幾點(diǎn)：

1. 選擇一個(gè)高效、穩(wěn)定且可擴(kuò)展的數(shù)據(jù)庫(kù)系統(tǒng)，以確保大數(shù)據(jù)處理的實(shí)時(shí)性和準(zhǔn)確性。
2. 數(shù)據(jù)模型的適應(yīng)性也是選型時(shí)需要考慮的因素。多元量化 AI 策略交易系統(tǒng)需要實(shí)時(shí)從各交易平臺(tái)提取交易行情，因此數(shù)據(jù)庫(kù)應(yīng)具備足夠的靈活性，以適配不同類型的金融數(shù)據(jù)。選擇與大數(shù)據(jù)系統(tǒng)需求相匹配的數(shù)據(jù)模型，可以提高數(shù)據(jù)存儲(chǔ)和查詢的效率。考慮到金融行業(yè)的特殊性和監(jiān)管要求，數(shù)據(jù)的可訪問(wèn)性也非常重要，用戶及合作方可以方便快捷地訪問(wèn)和查詢所需數(shù)據(jù)。
3. 數(shù)據(jù)庫(kù)的可擴(kuò)展性對(duì)于大數(shù)據(jù)系統(tǒng)來(lái)說(shuō)也很重要。隨著系統(tǒng)功能的迭代，數(shù)據(jù)量的不斷增長(zhǎng)，數(shù)據(jù)庫(kù)需要支持水平或垂直擴(kuò)展，以適應(yīng)數(shù)據(jù)量的增加，避免性能瓶頸。
4. 數(shù)據(jù)庫(kù)的安全性非常關(guān)鍵。由于交易數(shù)據(jù)涉及敏感信息，選擇具備高級(jí)安全特性的數(shù)據(jù)庫(kù)可以有效保護(hù)數(shù)據(jù)不被未授權(quán)訪問(wèn)或泄露。
5. 成本效益分析也是數(shù)據(jù)庫(kù)選型時(shí)需要考慮的。除了初始投資成本外，還需考慮維護(hù)成本、運(yùn)營(yíng)成本及長(zhǎng)期可支持性。

在多元量化交易系統(tǒng)研發(fā)初期，我們使用的是基于 PostgreSQL 的時(shí)序數(shù)據(jù)庫(kù)——TimescaleDB，它結(jié)合了傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的功能與時(shí)序數(shù)據(jù)存儲(chǔ)和查詢的優(yōu)化。然而，隨著系統(tǒng)和數(shù)據(jù)逐步擴(kuò)展，TimescaleDB 的問(wèn)題逐漸顯現(xiàn)：

寫入性能

由于量化系統(tǒng)數(shù)據(jù)寫入存在高并發(fā)，TimescaleDB 在高吞吐量寫入時(shí)出現(xiàn)瓶頸，同時(shí)增大了硬件系統(tǒng)的工作負(fù)載。

讀取延時(shí)

盡管 TimescaleDB 使用了多種索引和機(jī)制來(lái)加速查詢，但在需要掃描大量歷史數(shù)據(jù)的回測(cè)功能中，仍然存在延遲。

空間占用

由于 TimescaleDB 是基于 PostgreSQL 實(shí)現(xiàn)，并且為了支持高效的時(shí)序數(shù)據(jù)管理增加了額外的數(shù)據(jù)結(jié)構(gòu)，因此在存儲(chǔ)相同數(shù)量的數(shù)據(jù)時(shí)占用更多的磁盤空間，這對(duì)每日處理海量行情數(shù)據(jù)的量化系統(tǒng)非常不利。

根據(jù)行情模塊技術(shù)開(kāi)發(fā)和拓展需求，以及后期運(yùn)營(yíng)拓展的考量，我們需要對(duì)整個(gè)時(shí)序數(shù)據(jù)庫(kù)（Time Series Database）進(jìn)行迭代，通過(guò)對(duì)目前常用的數(shù)據(jù)庫(kù)類型進(jìn)行評(píng)判和分析：

1. ClickHouse：面臨的問(wèn)題包括高昂的運(yùn)維成本、復(fù)雜的擴(kuò)展過(guò)程以及對(duì)資源的大量需求。
2. InfluxDB：擅長(zhǎng)高效查詢和存儲(chǔ)時(shí)序數(shù)據(jù)，廣泛用于監(jiān)控?cái)?shù)據(jù)和物聯(lián)網(wǎng)行業(yè)的實(shí)時(shí)數(shù)據(jù)處理，但其集群功能尚未開(kāi)源。
3. TDengine：在性能、成本和運(yùn)維簡(jiǎn)易性方面表現(xiàn)良好，支持水平擴(kuò)展，并具備高可用性。

針對(duì)行情數(shù)據(jù)的時(shí)效性需求，時(shí)序數(shù)據(jù)庫(kù)是最合適的存儲(chǔ)解決方案。通過(guò)對(duì)比，我們發(fā)現(xiàn)，在相同的數(shù)據(jù)集和硬件條件下，TDengine 的寫入速度遠(yuǎn)超 InfluxDB。此外，TDengine 還提供豐富的數(shù)據(jù)接口支持，包括 C/C++、Java、Python、Go 和 RESTful 等，滿足各種開(kāi)發(fā)需求。

因此，我們最終選擇了 TDengine。

建模及應(yīng)用

多元量化 AI 策略交易系統(tǒng)需從多個(gè)交易所中提取大量行情數(shù)據(jù)。數(shù)據(jù)提取呈現(xiàn)以下特點(diǎn)：

Tick 快照數(shù)據(jù)

1. 每日生成超過(guò)億條記錄；
2. 快照數(shù)據(jù)需長(zhǎng)期保留，且頻繁調(diào)用。

Daily 數(shù)據(jù)

1. 多子表結(jié)構(gòu)，每日新增約 20 萬(wàn)張；
2. 數(shù)據(jù)量巨大，每秒約 6 萬(wàn)條數(shù)據(jù)寫入；
3. 數(shù)據(jù)需長(zhǎng)期保存。

通用特性

1. 數(shù)據(jù)格式固定，并附帶時(shí)間戳；

2. 數(shù)據(jù)幾乎無(wú)需更新或刪除；

3. 標(biāo)簽列數(shù)量少且穩(wěn)定；

4. 單條記錄的字段數(shù)量少、數(shù)據(jù)量小。基于 TDengine 推薦的數(shù)據(jù)架構(gòu)，我們將針對(duì)不同特性的數(shù)據(jù)分別構(gòu)建獨(dú)立的數(shù)據(jù)庫(kù)，并根據(jù)各自特性進(jìn)行參數(shù)優(yōu)化。在每個(gè)數(shù)據(jù)庫(kù)中，根據(jù)數(shù)據(jù)品種（如期貨、期權(quán)等）創(chuàng)建超級(jí)表，并將標(biāo)的實(shí)體的標(biāo)簽信息直接作為超級(jí)表的標(biāo)簽字段，以此為不同品種的數(shù)據(jù)創(chuàng)建子表。此數(shù)據(jù)模型的構(gòu)建方式高度契合了我們的數(shù)據(jù)特性和應(yīng)用場(chǎng)景。

當(dāng)前，我們的業(yè)務(wù)主要面向國(guó)內(nèi)的期貨和期權(quán)市場(chǎng)，股票業(yè)務(wù)仍在研發(fā)階段。數(shù)據(jù)庫(kù)的應(yīng)用分為離線業(yè)務(wù)（回測(cè)）和實(shí)時(shí)業(yè)務(wù)兩部分。回測(cè)用于計(jì)算基本框架和參數(shù)范圍，實(shí)時(shí)業(yè)務(wù)結(jié)合最新數(shù)據(jù)對(duì)框架進(jìn)行動(dòng)態(tài)調(diào)整，二者相輔相成，共同生成交易策略。

在數(shù)據(jù)寫入方面，TDengine 輕松滿足了上述業(yè)務(wù)需求。在數(shù)據(jù)查詢方面，針對(duì)離線和在線業(yè)務(wù)，我們主要使用如下兩類高頻 SQL 查詢。由于 TDengine 支持緩存最新數(shù)據(jù)，并采用順序讀取機(jī)制，即使在高并發(fā)查詢下也毫無(wú)壓力，均可實(shí)現(xiàn)毫秒級(jí)返回。這為我們?cè)陔x線與實(shí)時(shí)數(shù)據(jù)分析中提供了堅(jiān)實(shí)的技術(shù)保障。

在線查詢：

SELECT last_row(*) FROM tick_CZCE_SA501;

離線查詢:

SELECT * FROM tick_CZCE_SA501 WHERE ts < '2024-10-09 15:00:00.000' ORDER BY ts DESC LIMIT 1000;

實(shí)施經(jīng)驗(yàn)分享

為確保數(shù)據(jù)的穩(wěn)定高效獲取，實(shí)施過(guò)程中需要重點(diǎn)考慮查詢性能、線上數(shù)據(jù)更新和運(yùn)維情況。在此過(guò)程中，我們參考了官方博客中同花順在 TDengine 上處理類似行情數(shù)據(jù)的解決方案。

最終，我們選擇了如下硬件配置來(lái)搭建數(shù)據(jù)庫(kù)：雙路 AMD 48 核 96 線程 CPU，128GB 內(nèi)存，8TB 固態(tài)硬盤。當(dāng)前系統(tǒng)每日負(fù)載情況如下：CPU 使用率平均約為 20%，內(nèi)存使用率 20%，數(shù)據(jù)壓縮率控制在 10% 以內(nèi)。

TDengine 的最大優(yōu)勢(shì)在于處理大規(guī)模時(shí)序數(shù)據(jù)，非常適合金融行情數(shù)據(jù)（如期貨、期權(quán)價(jià)格及交易記錄）。這些數(shù)據(jù)的特點(diǎn)在于高頻寫入、固定查詢模式，且通常基于時(shí)間范圍進(jìn)行聚合或分析。然而，作為一款金融應(yīng)用系統(tǒng)，除了時(shí)序數(shù)據(jù)外，還涉及大量其他類型的數(shù)據(jù)和復(fù)雜的業(yè)務(wù)邏輯需求，因此我們?nèi)匀槐Ａ袅?PostgreSQL 關(guān)系數(shù)據(jù)庫(kù)，以支持多樣化的數(shù)據(jù)需求。

結(jié)語(yǔ)

TDengine 在成本控制、性能表現(xiàn)和用戶友好性方面表現(xiàn)出色，尤其在成本節(jié)約方面尤為突出。展望未來(lái)，我們期待 TDengine 持續(xù)優(yōu)化其性能和穩(wěn)定性。同時(shí)，我們將基于業(yè)務(wù)需求開(kāi)展二次開(kāi)發(fā)，并積極向社區(qū)分享成果，共同推動(dòng) TDengine 的進(jìn)步與發(fā)展。

關(guān)于多元量化

廣西多元量化科技有限公司成立于 2023 年，是一家專注于人工智能技術(shù)研發(fā)與應(yīng)用的領(lǐng)先企業(yè)。其致力于將大數(shù)據(jù)與人工智能相結(jié)合，服務(wù)于金融資產(chǎn)管理系統(tǒng)。多元量化提供程序化快速交易系統(tǒng)、量化策略開(kāi)發(fā)及植入服務(wù)，結(jié)合先進(jìn)的 IT 技術(shù)與豐富的行業(yè)經(jīng)驗(yàn)，為機(jī)構(gòu)和投資者量身定制高效的量化解決方案。多元量化產(chǎn)品線涵蓋行情分析系統(tǒng)、程序化智能交易系統(tǒng)、策略模型平臺(tái)和量化資產(chǎn)管理平臺(tái)，并提供專屬定制服務(wù)，滿足客戶的多樣化需求。