Hadoop文件處理方法、裝置、存儲(chǔ)介質(zhì)及服務(wù)器

基本信息

申請(qǐng)?zhí)?/td> CN201910840684.9 申請(qǐng)日 -
公開（公告）號(hào) CN110765082A 公開（公告）日 2020-02-07
申請(qǐng)公布號(hào) CN110765082A 申請(qǐng)公布日 2020-02-07
分類號(hào) G06F16/16;G06F16/182 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 李亮光 申請(qǐng)（專利權(quán)）人 深圳平安通信科技有限公司
代理機(jī)構(gòu) 深圳中一聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 代理人 深圳平安通信科技有限公司
地址 518000 廣東省深圳市前海深港合作區(qū)臨海大道59號(hào)海運(yùn)中心主塔樓319號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明屬于計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種Hadoop文件處理方法、裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及服務(wù)器。所述方法包括：接收終端設(shè)備下發(fā)的Hadoop文件處理指令，并從所述Hadoop文件處理指令中提取文件篩選維度、文件篩選范圍以及文件處理方式；按照所述文件篩選維度對(duì)預(yù)設(shè)的第一文件信息表中的文件條目進(jìn)行升序排序，得到第二文件信息表，所述第一文件信息表用于存儲(chǔ)Hadoop分布式文件系統(tǒng)中的文件信息；在所述第二文件信息表中查找第一文件條目和第二文件條目；按照所述文件處理方式對(duì)指定文件集合進(jìn)行處理，所述指定文件集合為由所述第一文件條目和所述第二文件條目之間的各個(gè)文件條目所對(duì)應(yīng)的各個(gè)文件組成的集合。在需要進(jìn)行批量文件處理時(shí)，極大提升了處理效率。