數(shù)據(jù)處理方法、裝置及系統(tǒng)、數(shù)據(jù)查詢方法及系統(tǒng)

基本信息

申請?zhí)?/td> CN202110290417.6 申請日 -
公開(公告)號 CN112860710A 公開(公告)日 2021-05-28
申請公布號 CN112860710A 申請公布日 2021-05-28
分類號 G06F16/2455(2019.01)I;G06F16/22(2019.01)I;G06F16/2453(2019.01)I 分類 計(jì)算;推算;計(jì)數(shù);
發(fā)明人 徐雪芳;謝梁洋;高國勇;楊偉麗 申請(專利權(quán))人 杭州云靈科技有限公司
代理機(jī)構(gòu) 杭州裕陽聯(lián)合專利代理有限公司 代理人 楊琪宇
地址 310000浙江省杭州市上城區(qū)婺江路217號2號樓705室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開一種數(shù)據(jù)處理方法及系統(tǒng),還公開一種數(shù)據(jù)查詢方法及系統(tǒng),其中數(shù)據(jù)處理方法包括以下步驟:配置查詢維度;從第一消息隊(duì)列中訂閱獲得與所述查詢維度相對應(yīng)的業(yè)務(wù)數(shù)據(jù),獲得待處理數(shù)據(jù);對所述待處理數(shù)據(jù)進(jìn)行處理,獲得相應(yīng)的整合數(shù)據(jù)并將其存儲(chǔ)至目標(biāo)數(shù)據(jù)庫,并將所述整合數(shù)據(jù)所對應(yīng)的時(shí)間戳作為第一消息偏移量,所述第一消息偏移量用于標(biāo)識第一消息隊(duì)列中所述整合數(shù)據(jù)所對應(yīng)的消息的位置。本發(fā)明通過對消息偏移量的設(shè)計(jì)避免數(shù)據(jù)處理過程中數(shù)據(jù)丟失,能夠基于查詢維度批量處理數(shù)據(jù),所得的整合數(shù)據(jù)能夠?yàn)楹罄m(xù)數(shù)據(jù)查詢提供數(shù)據(jù)支持。??