一種基于hdfs存儲(chǔ)且用lucene做索引的文件存儲(chǔ)方法

基本信息

申請(qǐng)?zhí)?/td> CN202011313364.7 申請(qǐng)日 -
公開(kāi)(公告)號(hào) CN112231437A 公開(kāi)(公告)日 2021-01-15
申請(qǐng)公布號(hào) CN112231437A 申請(qǐng)公布日 2021-01-15
分類(lèi)號(hào) G06F16/31;G06F16/33;G06F16/182 分類(lèi) 計(jì)算;推算;計(jì)數(shù);
發(fā)明人 母延年 申請(qǐng)(專(zhuān)利權(quán))人 南京好魚(yú)科技有限公司
代理機(jī)構(gòu) 南京中軟知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 代理人 鄭燕飛
地址 210000 江蘇省南京市江寧區(qū)董村路39號(hào)2幢天琪科技大廈706室(江寧開(kāi)發(fā)區(qū))
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及文件索引技術(shù)領(lǐng)域的基于hdfs存儲(chǔ)且用lucene做索引的文件存儲(chǔ)方法,包括首先,搭建索引系統(tǒng)并獲取Lucene分布式索引系統(tǒng)維護(hù)過(guò)程不斷更新產(chǎn)生的各個(gè)索引文件;然后,對(duì)獲取的各個(gè)索引文件進(jìn)行篩選分類(lèi)后再進(jìn)行索引文件合并處理,將分散的小索引文件合并為單一索引文件;對(duì)類(lèi)型為tim、tip、doc、dvd、dvm、fdx、pay以及pos的文件均合并為一個(gè)文件;將文件按照順序規(guī)則存放起來(lái);對(duì)存放數(shù)據(jù)進(jìn)行數(shù)據(jù)驗(yàn)證,經(jīng)過(guò)驗(yàn)證合并后的文件可以正常的讀取后進(jìn)行最終存儲(chǔ),至此完成文件的存儲(chǔ)處理本發(fā)明能夠提供一種減少文件讀寫(xiě)次數(shù)、處理存儲(chǔ)高效且縮短操作延時(shí)的基于hdfs存儲(chǔ)且用lucene做索引的文件存儲(chǔ)方法。