在 TDengine 3.2.3.0 版本中，我們針對(duì)流式計(jì)算新增了計(jì)數(shù)窗口，進(jìn)一步優(yōu)化了流式數(shù)據(jù)處理的能力。本文將為大家解讀流式計(jì)算與幾大窗口的關(guān)系，并針對(duì)新增的計(jì)數(shù)窗口進(jìn)行詳細(xì)的介紹，幫助大家進(jìn)一步了解時(shí)序數(shù)據(jù)庫(kù) TDengine 流式計(jì)算，以便更好地進(jìn)行應(yīng)用。

什么是 TDengine 流計(jì)算？

流計(jì)算是一種數(shù)據(jù)處理方式，旨在實(shí)時(shí)處理和分析數(shù)據(jù)流，以便在數(shù)據(jù)到達(dá)時(shí)以極低的延遲生成結(jié)果。隨著物聯(lián)網(wǎng)（IoT）、大數(shù)據(jù)和實(shí)時(shí)分析需求的不斷增長(zhǎng)，流計(jì)算在現(xiàn)代數(shù)據(jù)處理架構(gòu)中變得愈發(fā)重要。TDengine 作為一款專(zhuān)為時(shí)序數(shù)據(jù)設(shè)計(jì)的數(shù)據(jù)庫(kù)，提供了強(qiáng)大的流計(jì)算能力，以滿(mǎn)足實(shí)時(shí)數(shù)據(jù)處理的需求。

隨著數(shù)據(jù)量的不斷增加，使用 SQL 語(yǔ)句進(jìn)行查詢(xún)時(shí)，查詢(xún)的耗時(shí)可能會(huì)顯著增加。當(dāng)查詢(xún)時(shí)間超過(guò) 5 秒時(shí)，用戶(hù)的人機(jī)交互體驗(yàn)往往會(huì)受到影響。這種情況下，預(yù)先生成中間結(jié)果以加速查詢(xún)顯得尤為重要。盡管 TDengine 提供了多種預(yù)計(jì)算方法，但這些方法在靈活性上存在一定限制，特別是在定義計(jì)算窗口方面。因此，對(duì)于某些特定的查詢(xún)需求，流計(jì)算成為了一個(gè)更優(yōu)的選擇。

在實(shí)際應(yīng)用中，流計(jì)算特別適合于大屏展示、即席查詢(xún)和實(shí)時(shí)告警等場(chǎng)景。這些場(chǎng)景通常要求快速響應(yīng)，任何延遲都可能影響決策或用戶(hù)體驗(yàn)。通過(guò)流計(jì)算，用戶(hù)可以將耗時(shí)較長(zhǎng)的計(jì)算結(jié)果存儲(chǔ)到額外的結(jié)果表中，并在數(shù)據(jù)寫(xiě)入時(shí)實(shí)時(shí)更新最近一個(gè)窗口的計(jì)算結(jié)果。這意味著用戶(hù)只需查詢(xún)數(shù)據(jù)量較小的結(jié)果表，就能夠快速獲取所需的計(jì)算結(jié)果，從而顯著提高了查詢(xún)效率和響應(yīng)速度。

此外，雖然數(shù)據(jù)訂閱也可以達(dá)到類(lèi)似流計(jì)算的效果，但這種方式需要用戶(hù)自己編寫(xiě)數(shù)據(jù)訂閱程序。這不僅增加了開(kāi)發(fā)的復(fù)雜性，還需要額外的機(jī)制來(lái)確保該程序的高可用性。例如，當(dāng)程序意外重啟或遷移到其他節(jié)點(diǎn)時(shí)，需要能夠復(fù)用之前的計(jì)算狀態(tài)，以防止數(shù)據(jù)丟失或計(jì)算中斷。因此，相比于數(shù)據(jù)訂閱，TDengine 的流計(jì)算提供了更為簡(jiǎn)單和高效的解決方案，能夠更好地滿(mǎn)足實(shí)時(shí)數(shù)據(jù)處理的需求。

TDengine 流計(jì)算主要包括以下幾大特點(diǎn)：

基于事件訂閱

流計(jì)算采用事件驅(qū)動(dòng)的方式，能夠輕松處理亂序數(shù)據(jù)，確保數(shù)據(jù)處理的及時(shí)性和準(zhǔn)確性。這種方式使得系統(tǒng)能夠在數(shù)據(jù)到達(dá)時(shí)立即進(jìn)行處理，極大地降低了延遲。

多種窗口支持

TDengine 支持多種計(jì)算窗口，包括時(shí)間窗口、狀態(tài)窗口、會(huì)話(huà)窗口和計(jì)數(shù)窗口，并且支持滑動(dòng)窗口。這種靈活的窗口設(shè)置使得用戶(hù)能夠根據(jù)業(yè)務(wù)需求，定義合適的計(jì)算范圍。

設(shè)備維度計(jì)算

流計(jì)算能夠按照設(shè)備維度進(jìn)行計(jì)算，這意味著用戶(hù)可以針對(duì)特定設(shè)備的數(shù)據(jù)進(jìn)行快速計(jì)算，降低了 CPU 的消耗，提高了效率。

TDengine 流式計(jì)算在許多方面優(yōu)于其他流計(jì)算框架，其中一個(gè)顯著的優(yōu)勢(shì)是它支持對(duì)歷史數(shù)據(jù)的計(jì)算。大多數(shù)流計(jì)算框架通常僅能處理從流計(jì)算創(chuàng)建時(shí)開(kāi)始的數(shù)據(jù)，這使得它們?cè)诜治鲩L(zhǎng)時(shí)間跨度的數(shù)據(jù)時(shí)受到限制。而 TDengine 則允許用戶(hù)對(duì)歷史數(shù)據(jù)進(jìn)行計(jì)算，這對(duì)于需要回溯分析或綜合考慮歷史趨勢(shì)的場(chǎng)景來(lái)說(shuō)極為重要。

此外，TDengine 還具備出色的過(guò)期數(shù)據(jù)處理能力。當(dāng)窗口關(guān)閉后，其他框架可能無(wú)法有效處理過(guò)期數(shù)據(jù)，而 TDengine 則能夠從時(shí)序數(shù)據(jù)存儲(chǔ)引擎中查找窗口的歷史數(shù)據(jù)，并重新計(jì)算以獲得準(zhǔn)確的結(jié)果。這種能力確保在窗口關(guān)閉之后，用戶(hù)仍然可以獲得完整和精確的數(shù)據(jù)分析，從而提升了數(shù)據(jù)處理的可靠性和準(zhǔn)確性。

讀到這里，如果你想要進(jìn)行基于 TDengine 的流式計(jì)算實(shí)操，可以參考官網(wǎng)提供的詳細(xì)教程：https://docs.taosdata.com/advanced/stream/。

什么是“窗口”？

窗口是一種數(shù)據(jù)處理機(jī)制，用于將無(wú)界的、連續(xù)的流數(shù)據(jù)劃分為有限的、可管理的部分。通過(guò)這種劃分，流計(jì)算引擎可以對(duì)每個(gè)窗口內(nèi)的數(shù)據(jù)進(jìn)行聚合計(jì)算，從而生成有意義的統(tǒng)計(jì)信息。例如，我們可以計(jì)算某個(gè)時(shí)間段內(nèi)的平均值、總和、最大值或最小值等。

在數(shù)據(jù)處理領(lǐng)域，尤其是在流計(jì)算中，窗口是一個(gè)至關(guān)重要的概念。它用于將連續(xù)的時(shí)序數(shù)據(jù)拆分成有限大小的“存儲(chǔ)桶”，每個(gè)存儲(chǔ)桶中包含若干條記錄，對(duì)這些記錄進(jìn)行聚合計(jì)算后，再將結(jié)果寫(xiě)入到其他數(shù)據(jù)表中。這種拆分方式使得我們能夠?qū)?shù)據(jù)進(jìn)行有效的處理和分析，尤其是在實(shí)時(shí)數(shù)據(jù)流的情況下。

在流計(jì)算中，如果不設(shè)置窗口，計(jì)算操作通常只能使用標(biāo)量函數(shù)。標(biāo)量函數(shù)是指作用于單個(gè)值的函數(shù)，例如求平方、取絕對(duì)值等。這意味著在沒(méi)有窗口的情況下，無(wú)法進(jìn)行復(fù)雜的數(shù)據(jù)聚合和統(tǒng)計(jì)分析。而窗口的引入，使得我們能夠在實(shí)時(shí)數(shù)據(jù)流中進(jìn)行更加復(fù)雜的聚合計(jì)算，從而提升流計(jì)算的能力和靈活性。

在 TDengine 中，窗口主要有以下幾種不同的類(lèi)型：

1. 會(huì)話(huà)窗口：根據(jù)記錄的時(shí)間戳主鍵的值來(lái)確定是否屬于同一個(gè)會(huì)話(huà)。相同會(huì)話(huà)中的記錄時(shí)間戳之間的差異小于預(yù)設(shè)的會(huì)話(huà)間隔時(shí)，這些記錄被視為同一會(huì)話(huà)的一部分。
2. 狀態(tài)窗口：使用整數(shù)（布爾值）或字符串來(lái)標(biāo)識(shí)產(chǎn)生記錄時(shí)候設(shè)備的狀態(tài)量。產(chǎn)生的記錄如果具有相同的狀態(tài)量數(shù)值則歸屬于同一個(gè)狀態(tài)窗口，數(shù)值改變后該窗口關(guān)閉
3. 時(shí)間窗口：時(shí)間窗口是根據(jù)時(shí)間段來(lái)劃分的，又可分為滑動(dòng)時(shí)間窗口和翻轉(zhuǎn)時(shí)間窗口。滑動(dòng)時(shí)間窗口會(huì)隨著時(shí)間的推移而動(dòng)態(tài)更新，而翻轉(zhuǎn)時(shí)間窗口則是在固定時(shí)間段內(nèi)進(jìn)行聚合。
4. 事件窗口：事件窗口根據(jù)開(kāi)始條件和結(jié)束條件來(lái)劃定窗口，當(dāng) start_trigger_condition 滿(mǎn)足時(shí)則窗口開(kāi)始，直到 end_trigger_condition 滿(mǎn)足時(shí)窗口關(guān)閉。

以及下文要著重介紹的在 3.2.3.0 版本中新增的計(jì)數(shù)窗口。在實(shí)際應(yīng)用中，用戶(hù)可以根據(jù)需求將多種窗口類(lèi)型組合使用，以實(shí)現(xiàn)更復(fù)雜的分析。

計(jì)數(shù)窗口詳解

計(jì)數(shù)窗口根據(jù)固定的數(shù)據(jù)行數(shù)進(jìn)行劃分。默認(rèn)情況下，數(shù)據(jù)首先按時(shí)間戳排序，然后根據(jù) count_val 的值將數(shù)據(jù)分成多個(gè)窗口，并進(jìn)行聚合計(jì)算。count_val 表示每個(gè)窗口中包含的最大數(shù)據(jù)行數(shù)。如果總數(shù)據(jù)行數(shù)不能被 count_val 整除，則最后一個(gè)窗口的行數(shù)將小于 count_val。sliding_val 是一個(gè)常量，表示窗口滑動(dòng)的數(shù)量，類(lèi)似于 interval 的滑動(dòng)窗口概念。

window_clause: {    SESSION(ts_col, tol_val)    | STATE_WINDOW(col)    | INTERVAL(interval_val [, interval_offset]) [SLIDING (sliding_val)] [FILL(fill_mod_and_val)]    | EVENT_WINDOW START WITH start_trigger_condition END WITH end_trigger_condition    | COUNT_WINDOW(count_val[, sliding_val])    }

以下面的 SQL 語(yǔ)句為例，計(jì)數(shù)窗口切分如圖所示：

select _wstart, _wend, count(*) from t count_window(4);

計(jì)數(shù)窗口在許多場(chǎng)景中具有重要應(yīng)用。例如，在公路收費(fèi)站，每當(dāng)一輛車(chē)通過(guò)時(shí)，系統(tǒng)便會(huì)生成一條記錄，通過(guò)計(jì)數(shù)窗口可以實(shí)時(shí)監(jiān)測(cè)和顯示車(chē)輛的密集程度。這種實(shí)時(shí)數(shù)據(jù)分析有助于管理交通流量，優(yōu)化收費(fèi)站的運(yùn)營(yíng)效率，確保道路暢通。

另一個(gè)典型應(yīng)用是在生產(chǎn)制造車(chē)間。每當(dāng)生產(chǎn)出 100 件設(shè)備，就會(huì)形成一個(gè)新的批次，此時(shí)可以利用計(jì)數(shù)窗口統(tǒng)計(jì)該批次的各種參數(shù)，如環(huán)境溫度和生產(chǎn)速度。這種數(shù)據(jù)的實(shí)時(shí)采集與分析，不僅能提高生產(chǎn)過(guò)程的透明度，還能幫助管理人員及時(shí)調(diào)整生產(chǎn)策略，確保產(chǎn)品質(zhì)量與生產(chǎn)效率。

以公路收費(fèi)站進(jìn)行如下應(yīng)用示例：

CREATE STREAM stream_name  TRIGGER at_once IGNORE EXPIRED 1 IGNORE UPDATE 0 WATERMARK 100s  INTO stream_stb_name  AS    SELECT _wstart AS ts, count(*) c1, sum(b), max(c)    FROM st    PARTITION BY tbname, ta, a    COUNT_WINDOW(9);

如果你想了解關(guān)于更多窗口的應(yīng)用實(shí)例，可以查閱官方文檔：https://docs.taosdata.com/reference/taos-sql/distinguished/#%E8%AE%A1%E6%95%B0%E7%AA%97%E5%8F%A3

結(jié)語(yǔ)

通過(guò)本文，可以看到流式計(jì)算與窗口機(jī)制之間的密切關(guān)系。計(jì)數(shù)窗口的引入為用戶(hù)提供了更靈活、高效的數(shù)據(jù)處理能力，使得在實(shí)時(shí)數(shù)據(jù)分析中能夠獲得更好的性能表現(xiàn)。希望本文能幫助你更好地理解并應(yīng)用 TDengine 的流計(jì)算功能，歡迎大家體驗(yàn)。