基于Hive分區(qū)表實現(xiàn)物化視圖性能優(yōu)化的方法及系統(tǒng)

基本信息

申請?zhí)?/td> CN202010808579.X 申請日 -
公開（公告）號 CN111984680A 公開（公告）日 2020-11-24
申請公布號 CN111984680A 申請公布日 2020-11-24
分類號 G06F16/2453;G06F16/242 分類 計算；推算；計數(shù);
發(fā)明人 趙恒杰 申請（專利權(quán)）人 北京海致科技集團(tuán)有限公司
代理機構(gòu) - 代理人 -
地址 100083 北京市海淀區(qū)學(xué)院路甲5號2幢平房B-1011
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了基于Hive分區(qū)表實現(xiàn)物化視圖性能優(yōu)化的方法及系統(tǒng)，其方法包括如下步驟：1、用戶需要將原表設(shè)為分區(qū)表，系統(tǒng)中稱為高性能表，指定分區(qū)字段，分區(qū)粒度等信息，底層根據(jù)用戶的配置將原表轉(zhuǎn)化成分區(qū)表；2、在原表有數(shù)據(jù)變化，數(shù)據(jù)追加、修改或刪除時將變化的信息記錄下來，包括變化的分區(qū)，數(shù)據(jù)量等；3、在執(zhí)行物化視圖更行時根據(jù)有數(shù)據(jù)變化的分區(qū)的數(shù)據(jù)進(jìn)行計算，將計算結(jié)果替換原物化視圖對應(yīng)分區(qū)的數(shù)據(jù)，得到最終的數(shù)據(jù)。其系統(tǒng)包括：1、原表存儲數(shù)據(jù)類型轉(zhuǎn)化裝置；2、物化視圖映射邏輯配置裝置。本專利極大的減少了原數(shù)據(jù)量非常大時物化視圖的刷新時間，極大的提高了物化視圖刷新的性能；降低了用戶的使用門檻，對不懂?dāng)?shù)據(jù)庫，不懂編程的用戶非常友好。