一種大數(shù)據(jù)清洗方法、系統(tǒng)及相關(guān)裝置

基本信息

申請?zhí)?/td> CN201910085511.0 申請日 -
公開（公告）號 CN109800220B 公開（公告）日 2020-12-15
申請公布號 CN109800220B 申請公布日 2020-12-15
分類號 G06F16/215 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 胡暉;廖建克 申請（專利權(quán)）人 浙江國貿(mào)云商控股有限公司
代理機(jī)構(gòu) 北京集佳知識產(chǎn)權(quán)代理有限公司 代理人 羅滿
地址 310000 浙江省杭州市江干區(qū)紅普路綠谷創(chuàng)新中心6號樓8樓
法律狀態(tài) -

摘要

摘要 本申請所提供的一種大數(shù)據(jù)清洗方法，包括：采用與數(shù)據(jù)來源對應(yīng)的數(shù)據(jù)獲取方法采集貿(mào)易數(shù)據(jù)；在將貿(mào)易數(shù)據(jù)進(jìn)行存儲(chǔ)后，獲取貿(mào)易數(shù)據(jù)中的目標(biāo)數(shù)據(jù)；利用分子篩算法對目標(biāo)數(shù)據(jù)進(jìn)行聚合處理，得到清洗后的各個(gè)結(jié)果集?？梢姡摲椒ɡ梅肿雍Y算法對目標(biāo)數(shù)據(jù)進(jìn)行聚合處理，得到清洗后的各個(gè)結(jié)果集，也就是說可以將異類值過濾掉，進(jìn)而提高數(shù)據(jù)清洗修正的精度。此外，本申請還克服了相關(guān)技術(shù)中數(shù)據(jù)清洗顆粒度不夠、收斂速度較慢等問題。本申請還提供一種大數(shù)據(jù)清洗系統(tǒng)、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，均具有上述有益效果。