文件數(shù)據(jù)源入庫解析接入方法

基本信息

申請?zhí)?/td> CN202110367783.7 申請日 -
公開（公告）號 CN113111108A 公開（公告）日 2021-07-13
申請公布號 CN113111108A 申請公布日 2021-07-13
分類號 G06F16/25（2019.01）I;G06F16/27（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 周陽;陸文斌;何文江;廖文緒;鐘凱 申請（專利權(quán)）人 創(chuàng)意信息技術(shù)股份有限公司
代理機(jī)構(gòu) 成都金英專利代理事務(wù)所（普通合伙） 代理人 袁英
地址 610000四川省成都市青羊區(qū)萬和路９９號麗陽天下７－９室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種文件數(shù)據(jù)源入庫解析接入方法、裝置、設(shè)備及存儲介質(zhì)，該方法包括獲取待接入數(shù)據(jù)文件，構(gòu)建設(shè)計器和執(zhí)行器，以使設(shè)計器和執(zhí)行器滿足待接入數(shù)據(jù)文件的文件解析入庫及文件保留不入庫；一方面，利用設(shè)計器，根據(jù)待接入數(shù)據(jù)配置接入信息和處理信息；另一方面，利用執(zhí)行器，根據(jù)所述配置接入信息和處理信息對待接入數(shù)據(jù)文件進(jìn)行數(shù)據(jù)讀取、數(shù)據(jù)處理和數(shù)據(jù)寫入。本發(fā)明所提供的方法采用了設(shè)計器與執(zhí)行器分離，數(shù)據(jù)獲取與數(shù)據(jù)入庫分離，再加上Kafka消息中間件的方式進(jìn)行實現(xiàn)。旨在解決現(xiàn)有技術(shù)中存在的在面臨的業(yè)務(wù)場景較多，數(shù)據(jù)來源的方式種類均未知，數(shù)據(jù)接入時可能存在數(shù)據(jù)量反復(fù)變化等情況時，數(shù)據(jù)接入效率低依舊不能很好解決的技術(shù)問題。