多關聯(lián)實時數據流的亂序處理方法、裝置、介質和設備

基本信息

申請?zhí)?/td> CN202110839677.4 申請日 -
公開（公告）號 CN113515547A 公開（公告）日 2021-10-19
申請公布號 CN113515547A 申請公布日 2021-10-19
分類號 G06F16/2455（2019.01）I;G06F16/22（2019.01）I;G06F16/27（2019.01）I;G06F16/28（2019.01）I 分類 計算；推算；計數;
發(fā)明人 馬明輝;王彬;宋建鋒;張翼 申請（專利權）人 北京億歐網盟科技有限公司
代理機構 北京智燃律師事務所 代理人 柴琳琳
地址 100125北京市朝陽區(qū)霞光里9號10層1001房間
法律狀態(tài) -

摘要

摘要 本發(fā)明提供多關聯(lián)實時數據流的亂序處理方法、裝置、介質和設備，該方法包括：實時監(jiān)測數據庫中主表和/或關聯(lián)表的日志變化；當日志發(fā)生變化時，將主表變化記錄和關聯(lián)表變化記錄以多分區(qū)方式并行寫入消息列隊的相應主題；獲取主表和關聯(lián)表的多分區(qū)數據流；將主表的業(yè)務主鍵加載到緩存區(qū)；獲取業(yè)務外鍵，判斷是否能從緩存區(qū)獲取到對應的業(yè)務主鍵；如果能夠獲取到業(yè)務主鍵，則分別將主表和關聯(lián)表的多分區(qū)數據流合并為單獨分區(qū)數據流，根據指定字段對各單獨分區(qū)數據流進行分組處理，針對每個分組的數據流進行排序處理，對每個分組的數據流進行消費，對消費后的數據流執(zhí)行業(yè)務邏輯處理。該方法可在高并發(fā)的多關聯(lián)數據流實時場景下解決出現的亂序。