一種檢測(cè)重復(fù)文本的方法及裝置

基本信息

申請(qǐng)?zhí)?/td> CN201310144339.4 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN103246640B 公開(kāi)（公告）日 2016-08-03
申請(qǐng)公布號(hào) CN103246640B 申請(qǐng)公布日 2016-08-03
分類(lèi)號(hào) G06F17/27(2006.01)I 分類(lèi) 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 李鵬;孫熙;陸承恩 申請(qǐng)（專利權(quán)）人 北京十分科技有限公司
代理機(jī)構(gòu) - 代理人 -
地址 100007 北京市東城區(qū)安定門(mén)東大街28號(hào)雍和大廈B座15層
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種檢測(cè)文本重復(fù)的方法，用于實(shí)現(xiàn)文本是否重復(fù)的檢測(cè)，提高檢測(cè)的準(zhǔn)確度。所述方法包括：獲得待測(cè)文本和現(xiàn)有文本中的特征詞和特征詞序列；將待測(cè)文本中的每個(gè)特征詞分別與現(xiàn)有文本中的每個(gè)特征詞進(jìn)行匹配；在特征詞匹配成功時(shí)，獲取匹配一致的特征詞在待測(cè)文本特征詞序列中的絕對(duì)位置與在現(xiàn)有文本特征詞序列中的絕對(duì)位置；判斷是否存在一組匹配一致的特征詞，所述一組的所有特征詞在待測(cè)文本與現(xiàn)有文本的特征詞序列中的絕對(duì)位置有線性關(guān)系；若存在一組匹配一致的特征詞，根據(jù)所述一組匹配一致的特征詞在待測(cè)文本和現(xiàn)有文本的特征詞序列中的絕對(duì)位置，確定待測(cè)文本與現(xiàn)有文本的重復(fù)區(qū)域。本發(fā)明還公開(kāi)了用于實(shí)現(xiàn)所述方法的裝置。