一種基于列存數據庫的流式數據處理方法及系統(tǒng)

基本信息

申請?zhí)?/td> CN202111307991.4 申請日 -
公開（公告）號 CN114185885A 公開（公告）日 2022-03-15
申請公布號 CN114185885A 申請公布日 2022-03-15
分類號 G06F16/22（2019.01）I;G06F16/2453（2019.01）I;G06F16/2455（2019.01）I;G06F16/2458（2019.01）I;G06F16/901（2019.01）I;G06F16/31（2019.01）I;G06F16/33（2019.01）I;G06F16/51（2019.01）I;G06F16/53（2019.01）I 分類 計算；推算；計數;
發(fā)明人 程學旗;郭嘉豐;李冰;邱強;張志斌 申請（專利權）人 中國科學院計算技術研究所
代理機構 北京律誠同業(yè)知識產權代理有限公司 代理人 祁建國
地址 100080北京市海淀區(qū)中關村科學院南路6號
法律狀態(tài) -

摘要

摘要 本發(fā)明提出一種基于列存數據的流式數據處理方法和系統(tǒng)，包括：獲取待處理的列存流式數據及其對應的處理任務，基于時間維度將該流式數據切分為批式數據塊，根據預設窗口模式為該批式數據塊中每條數據分配窗口序號；將該批式數據塊切分為多個中間數據塊，每個中間數據塊僅包含窗口序號相同的數據，對每個中間數據塊的數據進行預聚合計算，產生預聚合中間狀態(tài)；根據預設的流式數據時間處理模式，從內部存儲提取窗口對應窗口序號的預聚合中間狀態(tài)并執(zhí)行與其對應的處理任務，輸出任務執(zhí)行結果，作為流式數據處理結果。本發(fā)明通過使用列存存儲及計算引擎，結合預聚合技術，在保持較低延遲的前提下，提升數據分析場景的吞吐量。