基于大數(shù)據(jù)的數(shù)據(jù)自動抽取系統(tǒng)

基本信息

申請?zhí)?/td> CN201810603056.4 申請日 -
公開（公告）號 CN109101521A 公開（公告）日 2018-12-28
申請公布號 CN109101521A 申請公布日 2018-12-28
分類號 G06F17/30;G06F11/30 分類 計算；推算；計數(shù);
發(fā)明人 陳華;郁東風(fēng);吳途;毛晨杰 申請（專利權(quán)）人 江蘇開拓信息與系統(tǒng)有限公司
代理機(jī)構(gòu) 無錫市匯誠永信專利代理事務(wù)所（普通合伙） 代理人 張歡勇
地址 214000 江蘇省無錫市濱湖區(qū)蠡湖商務(wù)園9號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于大數(shù)據(jù)的數(shù)據(jù)自動抽取系統(tǒng)，包括用于存儲待抽取數(shù)據(jù)的數(shù)據(jù)源服務(wù)器；用于提供可視化配置界面的客戶端；包括有配置存儲模塊、全量抽取模塊、增量抓取模塊、數(shù)據(jù)對比模塊；配置存儲模塊的數(shù)據(jù)抽取服務(wù)器用于記錄在抽取過程中將相關(guān)信息以參數(shù)的形式傳遞并記錄在日志信息表中的日志存儲模；用于存儲抽取之后的結(jié)果數(shù)據(jù)的數(shù)據(jù)存儲服務(wù)器。采用上述技術(shù)方案后，配置存儲模塊實現(xiàn)了一次配置可以多次使用。日志存儲模解決了無法自動記錄日志的問題。數(shù)據(jù)對比模塊保證了抽取完成后能夠自動驗證數(shù)據(jù)量的準(zhǔn)確性。