從技術(shù)骨干變成組長(zhǎng)，潘魏也構(gòu)建起了一套團(tuán)隊(duì)的工作哲學(xué)：“創(chuàng)新主要來(lái)自深度思考，在深入理解問(wèn)題本質(zhì)后才有可能提出創(chuàng)造性的想法。”他舉了一個(gè)例子：某次他們要將同步流程轉(zhuǎn)為異步處理，按傳統(tǒng)思路，需要引入大量異步回調(diào)邏輯，但工作量巨大。團(tuán)隊(duì)在經(jīng)過(guò)頭腦風(fēng)暴式的討論后發(fā)現(xiàn)，其實(shí)核心瓶頸在于并發(fā)線程數(shù)——線程數(shù)受限的本質(zhì)是為了限制 CPU 的占用，這種情況下如何把同步操作變?yōu)楫惒?。在理解這一本質(zhì)后，他們換了個(gè)創(chuàng)新思路，“線程數(shù)不受限，只需要并發(fā)運(yùn)行的線程數(shù)受限即可”，最終通過(guò)“線程接力”的方式優(yōu)雅解決了問(wèn)題，既大幅減少了優(yōu)化工作量，又滿(mǎn)足了限制性需求，也保障了性能。

這種以問(wèn)題為中心、以本質(zhì)為目標(biāo)的討論方式，已經(jīng)成為 TDengine 查詢(xún)組的團(tuán)隊(duì)文化。

查詢(xún)引擎技術(shù)演進(jìn)趨勢(shì)

查詢(xún)引擎是數(shù)據(jù)庫(kù)的核心模塊之一，而優(yōu)化查詢(xún)性能，就是在刀尖上跳舞?！澳阋?SQL 語(yǔ)句這條‘陽(yáng)關(guān)道’，用戶(hù)不滿(mǎn)意；你要抄近路，讓用戶(hù)覺(jué)得快，但一旦抄錯(cuò)了，用戶(hù)也會(huì)第一個(gè)罵你。因此我們要練就的就是‘穩(wěn)準(zhǔn)狠’?！睆呐宋旱男稳輥?lái)看，查詢(xún)引擎的性能優(yōu)化工作就是要放著陽(yáng)關(guān)道不走，非要過(guò)獨(dú)木橋，同時(shí)還要做到不濕鞋，屬實(shí)是一個(gè)“高風(fēng)險(xiǎn)工種”。

TDengine 作為純自研的查詢(xún)引擎，查詢(xún)性能優(yōu)化的工作自然不會(huì)少。潘魏也主導(dǎo)了多個(gè)層面的優(yōu)化：從框架重構(gòu)、執(zhí)行器改進(jìn)，到計(jì)劃層算法優(yōu)化。比如在實(shí)現(xiàn)關(guān)聯(lián)查詢(xún)時(shí)，為了減小處理數(shù)據(jù)的體量，他們?cè)O(shè)計(jì)了最多六層的數(shù)據(jù)過(guò)濾機(jī)制，每一層的目的都是為了減少下層需要處理的數(shù)據(jù)。為了實(shí)現(xiàn)更優(yōu)的性能，更是巧妙地將 hash join 嵌入 sort merge join 的流程中以應(yīng)對(duì)相同時(shí)間戳的場(chǎng)景。

這些優(yōu)化為 TDengine 的查詢(xún)性能帶來(lái)了顯著提升。在內(nèi)部測(cè)試中，大多數(shù)查詢(xún)性能遠(yuǎn)超 PostgreSQL，和 ClickHouse 相比，在單核性能上也占據(jù)優(yōu)勢(shì)。接下來(lái)，他正計(jì)劃向多核并行查詢(xún)發(fā)起沖擊，“我對(duì)勝出是樂(lè)觀的?！?/p>

TDengine 在查詢(xún)層的獨(dú)特性，來(lái)自于整體架構(gòu)的深度配合。潘魏總結(jié)道：“我們采用分布式的 share-nothing 架構(gòu)，結(jié)合超級(jí)表的設(shè)計(jì)，使得查詢(xún)?nèi)蝿?wù)能夠分布式執(zhí)行；一個(gè)設(shè)備一張表 + 列式存儲(chǔ)的設(shè)計(jì)，能夠?qū)崿F(xiàn)子表級(jí)別的數(shù)據(jù)快速定位，并支持高效的列向量化處理；虛擬表概念的引入使得數(shù)據(jù)建模不再有任何難度，數(shù)據(jù)存儲(chǔ)與查詢(xún)分析不再具有綁定關(guān)系，根據(jù)業(yè)務(wù)的需要可以實(shí)現(xiàn)千人千面的效果；在數(shù)據(jù)塊和時(shí)間維度上的預(yù)計(jì)算機(jī)制，則顯著提升了大數(shù)據(jù)量場(chǎng)景下的查詢(xún)效率；而通過(guò)存算分離的架構(gòu)設(shè)計(jì)，查詢(xún)資源可以彈性擴(kuò)展，系統(tǒng)整體的吞吐能力也得到大幅提升?！?/p>

而這種從底層架構(gòu)到查詢(xún)層邏輯的深度融合，是 TDengine 在應(yīng)對(duì)高并發(fā)、低延遲場(chǎng)景中的底氣。

對(duì)于未來(lái)趨勢(shì)，他認(rèn)為查詢(xún)引擎會(huì)向三個(gè)方向演進(jìn)：功能更全、性能更優(yōu)、使用更簡(jiǎn)單。“SQL 覆蓋要更全面，性能要從手動(dòng)擋進(jìn)化到自動(dòng)擋，最重要的是可維護(hù)性和易用性也要同步跟上。”他特別提到 AI 的應(yīng)用，將會(huì)對(duì)查詢(xún)引擎帶來(lái)新的思維方式和能力邊界，“我們已經(jīng)在探索 AI 與查詢(xún)優(yōu)化、智能調(diào)參的結(jié)合。”

下一步

談起自己獲得“CEO AWARD”的感受，潘魏顯得很平靜：“很感謝公司給我這個(gè)肯定，我把它當(dāng)做過(guò)去幾年努力的一種肯定。”

對(duì)他而言，更重要的是要“不負(fù)期望、再接再厲”?；仡欉@幾年，他最自豪的不是某一個(gè)具體功能，而是“我們整個(gè)查詢(xún)引擎在這幾年邁上了一個(gè)新的臺(tái)階，從 2.x 的草根階段走進(jìn)了 3.x 的穩(wěn)定發(fā)展期?！?/p>

“我們和 ClickHouse 在單核性能上的差距已經(jīng)非常小，接下來(lái)要挑戰(zhàn)的是多核并發(fā)?！迸宋禾寡?，這將是一場(chǎng)硬仗，但也代表了 TDengine 查詢(xún)引擎走向全面領(lǐng)先的重要一役。“我個(gè)人非常想把這事兒干成?！?/p>

采訪最后，潘魏說(shuō)：“其實(shí)程序員這份工作最動(dòng)人的地方，就是你能親手打造一些真實(shí)的東西，看著它一步步變得更好?！痹?TDengine，他正和團(tuán)隊(duì)一起，做著這件既有挑戰(zhàn)也有成就感的事。

關(guān)于潘蔚

潘魏，現(xiàn)任 TDengine 查詢(xún)組負(fù)責(zé)人，專(zhuān)注于時(shí)序數(shù)據(jù)庫(kù)查詢(xún)引擎的研發(fā)工作。自 2020 年加入濤思數(shù)據(jù)以來(lái)，曾在交付組短暫輪崗，隨后長(zhǎng)期投身于核心查詢(xún)模塊的設(shè)計(jì)與優(yōu)化，深度參與 TDengine 查詢(xún)引擎的演進(jìn)。

在此之前，潘魏曾在 Oracle 擔(dān)任資深工程師，主導(dǎo) Oracle Blockchain Cloud Service（OBCS）及 ART IMS 等產(chǎn)品的核心功能開(kāi)發(fā)，涵蓋區(qū)塊鏈底層節(jié)點(diǎn)定制、控制臺(tái)與 REST 接口開(kāi)發(fā)，以及分布式容器管理模塊的設(shè)計(jì)實(shí)現(xiàn)。其主導(dǎo)的 ART IMS 項(xiàng)目，成功實(shí)現(xiàn)了將 IBM 大型機(jī)上的 IMS 程序遷移至開(kāi)放平臺(tái)運(yùn)行，顯著提升了傳統(tǒng)系統(tǒng)的靈活性與兼容性。