生成并執(zhí)行ETL任務的方法及設備

基本信息

申請?zhí)?/td> CN201911023033.7 申請日 -
公開（公告）號 CN110765196A 公開（公告）日 2020-02-07
申請公布號 CN110765196A 申請公布日 2020-02-07
分類號 G06F16/25 分類 計算；推算；計數(shù);
發(fā)明人 葛華;王夷;俞楠;吳翔;吳鵬;郭曉丹;魏寶輝 申請（專利權(quán)）人 四川東方網(wǎng)力科技有限公司
代理機構(gòu) 北京細軟智谷知識產(chǎn)權(quán)代理有限責任公司 代理人 韓國強
地址 610000 四川省成都市中國(四川)自由貿(mào)易試驗區(qū)成都高新區(qū)天府五街200號4號樓A區(qū)12樓
法律狀態(tài) -

摘要

摘要 本申請涉及一種生成并執(zhí)行ETL任務的方法，由于ETL需求中的數(shù)據(jù)處理過程包括多個數(shù)據(jù)處理環(huán)節(jié)，將數(shù)據(jù)處理過程轉(zhuǎn)換成元數(shù)據(jù)，通過元數(shù)據(jù)來描述各所述數(shù)據(jù)處理環(huán)節(jié)的輸入數(shù)據(jù)，輸出數(shù)據(jù)和當前數(shù)據(jù)處理環(huán)節(jié)的處理明細。根據(jù)元數(shù)據(jù)生成ETL任務并執(zhí)行ETL任務，得到ETL任務執(zhí)行結(jié)果，ETL任務執(zhí)行結(jié)果包括：各數(shù)據(jù)處理環(huán)節(jié)的輸入數(shù)據(jù)數(shù)量，輸出數(shù)據(jù)數(shù)量，數(shù)據(jù)處理結(jié)果。根據(jù)ETL任務執(zhí)行結(jié)果中的輸入數(shù)據(jù)數(shù)量，輸出數(shù)據(jù)數(shù)量是否達到預設要求，數(shù)據(jù)處理結(jié)果是否成功來確定各數(shù)據(jù)處理環(huán)節(jié)是否出現(xiàn)錯誤，從而提高排查效率。