基于事件心跳和多版本的Flink流維Join通用處理方法
基本信息
| 申請?zhí)?/td> | CN202011179330.3 | 申請日 | - |
| 公開（公告）號 | CN112307023A | 公開（公告）日 | 2021-02-02 |
| 申請公布號 | CN112307023A | 申請公布日 | 2021-02-02 |
| 分類號 | G06F16/22(2019.01)I; | 分類 | 計算；推算；計數(shù); |
| 發(fā)明人 | 王慧 | 申請（專利權(quán)）人 | 杭州微拍堂文化創(chuàng)意有限公司 |
| 代理機構(gòu) | 杭州求是專利事務(wù)所有限公司 | 代理人 | 陳升華 |
| 地址 | 310012浙江省杭州市西湖區(qū)文三路408號5幢424室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開了一種基于事件心跳和多版本的Flink流維Join通用處理方法，包括：快照服務(wù)器接收來自存儲端發(fā)送的心跳事件，將接收到的心跳事件按不同數(shù)據(jù)集分類，合并來自相同數(shù)據(jù)集分區(qū)的心跳生成該分區(qū)的快照，合并相同數(shù)據(jù)集所有分區(qū)的快照生成數(shù)據(jù)集的快照；用戶在Flink服務(wù)上進行流維Join計算，根據(jù)不同流維所屬的數(shù)據(jù)集查詢該快照，生成水印，F(xiàn)link服務(wù)根據(jù)水印觸發(fā)流計算，生成計算結(jié)果，寫入存儲端。本發(fā)明在滿足靜態(tài)維表Join、支持異步、緩存動態(tài)維表Join以及動態(tài)維表Join以上場景的同時，做到維表在任務(wù)間共享；同時回刷數(shù)據(jù)時可以Join到歷史時刻的維表數(shù)據(jù)，保證回刷數(shù)據(jù)的準確性。?? |
