一種實現(xiàn)混合數(shù)據(jù)分析的大數(shù)據(jù)處理方法

基本信息

申請?zhí)?/td> CN202110598362.5 申請日 -
公開（公告）號 CN113342790A 公開（公告）日 2021-09-03
申請公布號 CN113342790A 申請公布日 2021-09-03
分類號 G06F16/215（2019.01）I;G06F16/26（2019.01）I;G06F16/27（2019.01）I;G06F16/904（2019.01）I;G06F16/906（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 駱嘯宇;鄭理 申請（專利權(quán)）人 重慶大數(shù)據(jù)人工智能創(chuàng)新中心有限公司
代理機構(gòu) 北京挺立專利事務(wù)所（普通合伙） 代理人 賈楠楠
地址 400052重慶市九龍坡區(qū)西彭鎮(zhèn)西竹路2棟33號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種實現(xiàn)混合數(shù)據(jù)分析的大數(shù)據(jù)處理方法，通過在數(shù)據(jù)預(yù)處理單元中設(shè)置數(shù)據(jù)清洗模塊，數(shù)據(jù)清洗模塊又包括遺漏數(shù)據(jù)處理、噪聲數(shù)據(jù)處理和不一致數(shù)據(jù)處理三個不同子模塊，遺漏數(shù)據(jù)處理子模塊基于同類別均值進行遺漏值填補，噪聲數(shù)據(jù)處理子模塊可通過聚類分析方法幫助發(fā)現(xiàn)異常數(shù)據(jù)，不一致數(shù)據(jù)處理子模塊能夠自動查出數(shù)據(jù)庫中岀現(xiàn)記錄內(nèi)容不一致的數(shù)據(jù)，通過上述數(shù)據(jù)清洗預(yù)處理，能夠?qū)⒒旌蠑?shù)據(jù)中的大多數(shù)異常數(shù)據(jù)清洗掉，從而為后續(xù)大數(shù)據(jù)處理和分析數(shù)據(jù)內(nèi)容提供可靠數(shù)據(jù)來源，提高數(shù)據(jù)處理的準(zhǔn)確度，提高用戶使用體驗以及為企業(yè)經(jīng)營決策提供更準(zhǔn)確和更可靠的參照信息。