基于大數(shù)據(jù)的數(shù)據(jù)定制接入方法及系統(tǒng)

基本信息

申請?zhí)?/td> CN202110367307.5 申請日 -
公開（公告）號 CN113111105A 公開（公告）日 2021-07-13
申請公布號 CN113111105A 申請公布日 2021-07-13
分類號 G06F16/25（2019.01）I;G06F16/27（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 周正斌;王勇;王震;王波;廖文緒 申請（專利權）人 創(chuàng)意信息技術股份有限公司
代理機構(gòu) 成都金英專利代理事務所（普通合伙） 代理人 袁英
地址 610000四川省成都市青羊區(qū)萬和路９９號麗陽天下７－９室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了基于大數(shù)據(jù)的數(shù)據(jù)定制接入方法及系統(tǒng)，方法包括以下步驟：一：數(shù)據(jù)接入配置，根據(jù)不同類型的數(shù)據(jù)分別對Web?ETL和接入申請單的屬性進行配置，并生成對應的數(shù)據(jù)接入任務；二：執(zhí)行數(shù)據(jù)接入，根據(jù)配置的數(shù)據(jù)接入任務類型分別選擇Web?ETL后端執(zhí)行器、默認執(zhí)行器和個性化擴展執(zhí)行器分別進行執(zhí)行處理，將讀取的數(shù)據(jù)寫入到隊列中，并保存至目標數(shù)據(jù)庫中。本發(fā)明采用了設計器與執(zhí)行器分離，數(shù)據(jù)獲取與數(shù)據(jù)入庫分離，再加上Kafka消息中間件的方式實現(xiàn)數(shù)據(jù)接入，定義了一套數(shù)據(jù)類型之間互相轉(zhuǎn)換的中間類型，可滿足不同類型的數(shù)據(jù)之間的接入轉(zhuǎn)換過程，能最大限度地保障數(shù)據(jù)完整準確接入。