基于GlusterFS分布式文件系統(tǒng)的離線去重方法

基本信息

申請(qǐng)?zhí)?/td> CN201711317259.9 申請(qǐng)日 -
公開（公告）號(hào) CN108563649B 公開（公告）日 2021-12-07
申請(qǐng)公布號(hào) CN108563649B 申請(qǐng)公布日 2021-12-07
分類號(hào) G06F16/174;G06F16/182 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 莊鵬盛;李丹;王凱;張冠梟 申請(qǐng)（專利權(quán)）人 南京富士通南大軟件技術(shù)有限公司
代理機(jī)構(gòu) 南京鐘山專利代理有限公司 代理人 戴朝榮
地址 210012 江蘇省南京市雨花臺(tái)區(qū)文竹路6號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于GlusterFS分布式文件系統(tǒng)的離線去重方法，包括：計(jì)算所有文件的哈希值；將文件的大小和該文件的哈希值作為Key值，建立哈希樹；擇一組大小相同且哈希值相同的多個(gè)文件并標(biāo)記為相同文件；根據(jù)分布式文件系統(tǒng)中每個(gè)存儲(chǔ)設(shè)備的剩余容量大小和每個(gè)存儲(chǔ)設(shè)備中存儲(chǔ)的相同文件的個(gè)數(shù)從分布式文件系統(tǒng)中選擇一個(gè)存儲(chǔ)設(shè)備并將該存儲(chǔ)設(shè)備標(biāo)記為指定移動(dòng)存儲(chǔ)設(shè)備；將分布式文件系統(tǒng)中的存儲(chǔ)設(shè)備中存儲(chǔ)的相同文件均移動(dòng)到指定移動(dòng)存儲(chǔ)設(shè)備中；采用文件去重方法從指定移動(dòng)存儲(chǔ)設(shè)備中刪除相同文件，保證相同文件只有一份；本發(fā)明有效地解決了分布式存儲(chǔ)中可能存在的大量重復(fù)數(shù)據(jù)的問題，大大提升了分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)能力。