數(shù)據(jù)去重方法、裝置、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)可讀存儲介質(zhì)

基本信息

申請?zhí)?/td> CN202011437631.1 申請日 -
公開（公告）號 CN112597138A 公開（公告）日 2021-04-02
申請公布號 CN112597138A 申請公布日 2021-04-02
分類號 G06F16/215(2019.01)I;G06F11/30(2006.01)I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 王秀雙;馬旭東;趙玉紅;李良敏;趙春波 申請（專利權(quán)）人 浙江巖華文化科技有限公司
代理機(jī)構(gòu) 杭州華進(jìn)聯(lián)浙知識產(chǎn)權(quán)代理有限公司 代理人 范麗霞
地址 313200浙江省湖州市德清縣舞陽街道塔山街901號1幢101室
法律狀態(tài) -

摘要

摘要 本申請涉及一種數(shù)據(jù)去重方法、裝置、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)可讀存儲介質(zhì)，其中，該數(shù)據(jù)去重方法包括：獲取預(yù)處理后的日志數(shù)據(jù)，日志數(shù)據(jù)攜帶有去重標(biāo)識；去重標(biāo)識基于預(yù)設(shè)壓縮規(guī)則以及預(yù)設(shè)時間戳提取規(guī)則對日志數(shù)據(jù)進(jìn)行預(yù)處理得到；預(yù)設(shè)壓縮規(guī)則至少包括哈希算法；解析日志數(shù)據(jù)，并提取日志數(shù)據(jù)對應(yīng)的去重標(biāo)識；判斷去重標(biāo)識是否存儲在數(shù)據(jù)庫中；若去重標(biāo)識存儲在數(shù)據(jù)庫中，則基于去重標(biāo)識清除獲取到的日志數(shù)據(jù)，或者，基于去重標(biāo)識清除所述數(shù)據(jù)庫中的日志數(shù)據(jù)。通過本申請，解決了相關(guān)技術(shù)中去重效率低的問題。??