實時數(shù)倉自動ETL方法、系統(tǒng)、設(shè)備及計算機存儲介質(zhì)

基本信息

申請?zhí)?/td> CN202110444992.7 申請日 -
公開（公告）號 CN113220757A 公開（公告）日 2021-08-06
申請公布號 CN113220757A 申請公布日 2021-08-06
分類號 G06F16/25;G06F16/28;G06F9/54 分類 計算；推算；計數(shù);
發(fā)明人 葛昊 申請（專利權(quán)）人 上海鋼銀科技發(fā)展有限公司
代理機構(gòu) - 代理人 -
地址 201900 上海市寶山區(qū)泰和路1088號6幢B區(qū)187室
法律狀態(tài) -

摘要

摘要 本申請涉及涉及電子商務(wù)平臺準實時數(shù)倉建設(shè)技術(shù)領(lǐng)域，公開了一種實時數(shù)倉自動ETL方法、系統(tǒng)，實時數(shù)倉自動ETL方法，包括：數(shù)據(jù)抽取，將mysql數(shù)據(jù)庫中的數(shù)據(jù)抽取至消息隊列Kafka中；數(shù)據(jù)轉(zhuǎn)換，基于根據(jù)用戶需求預(yù)先在mysql數(shù)據(jù)庫中配置的轉(zhuǎn)換策略對進入消息隊列Kafka中的數(shù)據(jù)進加，包括：設(shè)置默認值、數(shù)據(jù)匯總、以其他數(shù)據(jù)庫的數(shù)據(jù)作為取值條件，以及上傳腳本描述中的一種或多種；數(shù)據(jù)加載，基于預(yù)先在mysql數(shù)據(jù)庫中配置的數(shù)據(jù)來源地和目標地的對應(yīng)關(guān)系，將進加后的數(shù)據(jù)加載至標準mysql數(shù)據(jù)庫。本申請通過采用上述技術(shù)方案，全程配置化所有的數(shù)據(jù)ETL需求可通過程序配置進完成，無需編寫代碼，簡化了實時數(shù)倉的ETL過程，縮短了數(shù)據(jù)延遲。