一種大數(shù)據(jù)統(tǒng)計(jì)方法和裝置

基本信息

申請(qǐng)?zhí)?/td> CN202110528336.5 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN113377829A 公開(kāi)（公告）日 2021-09-10
申請(qǐng)公布號(hào) CN113377829A 申請(qǐng)公布日 2021-09-10
分類(lèi)號(hào) G06F16/2458（2019.01）I;G06F16/2457（2019.01）I;G06F16/28（2019.01）I;G06F16/27（2019.01）I;G06F16/25（2019.01）I 分類(lèi) 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 劉小林;何鵬 申請(qǐng)（專(zhuān)利權(quán)）人 中國(guó)民生銀行股份有限公司
代理機(jī)構(gòu) 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 代理人 莎日娜
地址 100031北京市西城區(qū)復(fù)興門(mén)內(nèi)大街2號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明實(shí)施例提供了一種大數(shù)據(jù)統(tǒng)計(jì)方法和裝置，所述方法包括：從分布式文件系統(tǒng)HDFS中獲取數(shù)據(jù)集，然后根據(jù)預(yù)設(shè)的配置文件的分類(lèi)信息，對(duì)數(shù)據(jù)集的數(shù)據(jù)進(jìn)行分類(lèi)，得到多個(gè)類(lèi)型的數(shù)據(jù)子集，接著根據(jù)預(yù)設(shè)的配置文件的過(guò)濾信息，分別對(duì)多個(gè)類(lèi)型的數(shù)據(jù)子集進(jìn)行過(guò)濾，得到多個(gè)過(guò)濾后的數(shù)據(jù)子集，最后對(duì)多個(gè)過(guò)濾后的數(shù)據(jù)子集進(jìn)行數(shù)據(jù)統(tǒng)計(jì)。本發(fā)明實(shí)施例通過(guò)預(yù)設(shè)的配置文件自動(dòng)對(duì)大數(shù)據(jù)進(jìn)行分類(lèi)、過(guò)濾和統(tǒng)計(jì)，實(shí)現(xiàn)不同的業(yè)務(wù)需求，無(wú)需開(kāi)發(fā)人員重復(fù)編寫(xiě)類(lèi)似的代碼，從而簡(jiǎn)化了開(kāi)發(fā)流程，縮短了開(kāi)發(fā)周期、提高了開(kāi)發(fā)效率。