便于海量多源異構數(shù)據(jù)的清洗整合存儲的方法

基本信息

申請?zhí)?/td> CN202011225571.7 申請日 -
公開（公告）號 CN112347093B 公開（公告）日 2021-08-03
申請公布號 CN112347093B 申請公布日 2021-08-03
分類號 G06F16/215（2019.01）I;G06F16/27（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 劉源;周含笑;姜宇;于雷;趙輝;謝雨;王兆祥;董麗娜;李墨野;劉京京;王建勛 申請（專利權）人 哈爾濱航天恒星數(shù)據(jù)系統(tǒng)科技有限公司
代理機構 北京君恒知識產(chǎn)權代理有限公司 代理人 王恒
地址 150028黑龍江省哈爾濱市高新技術產(chǎn)業(yè)開發(fā)區(qū)科技創(chuàng)新城創(chuàng)新路1616號5號樓
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種便于海量多源異構數(shù)據(jù)的清洗整合存儲的方法，屬于海量多源異構數(shù)據(jù)處理領域，海量多源異構數(shù)據(jù)處理中全局因素無法整合等問題；本發(fā)明通過構造數(shù)據(jù)源集合、遍歷集合，記錄類型及數(shù)據(jù)協(xié)議、數(shù)據(jù)接入環(huán)節(jié)、協(xié)議適配環(huán)節(jié)，形成1階數(shù)據(jù)，推送緩存隊列、拉取1階數(shù)據(jù)，清洗環(huán)節(jié)，形成2階數(shù)據(jù)，推送緩存隊列、取2階數(shù)據(jù)，主被動混合模式轉換整合環(huán)節(jié)，形成3階數(shù)據(jù)，推送緩存隊列以及最終拉取3階數(shù)據(jù)，分布存儲環(huán)節(jié)，完成最終存儲。本發(fā)明提供的方法，方便快捷、流程化明確，可降低海量多源異構數(shù)據(jù)的清洗整合存儲各環(huán)節(jié)的耦合程度，通過逐層遷移、降階處理，可有效降低海量數(shù)據(jù)壓力、削峰填谷，能夠提升整個方法過程的魯棒性。