文件的去重處理方法和裝置

基本信息

申請(qǐng)?zhí)?/td> CN201611016883.0 申請(qǐng)日 -
公開（公告）號(hào) CN106708927B 公開（公告）日 2021-01-05
申請(qǐng)公布號(hào) CN106708927B 申請(qǐng)公布日 2021-01-05
分類號(hào) G06F16/174 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 趙汝成;曾鴻軍;王鵬雷 申請(qǐng)（專利權(quán)）人 北京二六三企業(yè)通信有限公司
代理機(jī)構(gòu) 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 代理人 北京二六三企業(yè)通信有限公司
地址 100013 北京市朝陽區(qū)和平里東土城路14號(hào)建達(dá)大廈17層
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種文件的去重處理方法和裝置。本發(fā)明提供的文件的去重處理方法，包括：從上述文件中獲取至少兩個(gè)數(shù)據(jù)塊；根據(jù)預(yù)設(shè)的哈希算法分別計(jì)算每個(gè)數(shù)據(jù)塊的消息摘要，并根據(jù)上述至少兩個(gè)數(shù)據(jù)塊的消息摘要得到組合消息摘要；根據(jù)上述組合消息摘要進(jìn)行去重比對(duì)操作。本發(fā)明提供的文件的去重處理方法，可降低組合消息摘要碰撞的概率，進(jìn)而降低進(jìn)行全文比對(duì)的概率，從而避免因全文比對(duì)導(dǎo)致的增加比對(duì)的工作量、增加比對(duì)的成本的問題。