基于Spark和Hive的分布式OLAP即席查詢方法

基本信息

申請?zhí)?/td> CN202010808594.4 申請日 -
公開（公告）號(hào) CN111966727A 公開（公告）日 2020-11-20
申請公布號(hào) CN111966727A 申請公布日 2020-11-20
分類號(hào) G06F16/2458;G06F16/28 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 劉啟濤 申請（專利權(quán)）人 北京海致科技集團(tuán)有限公司
代理機(jī)構(gòu) - 代理人 -
地址 100083 北京市海淀區(qū)學(xué)院路甲5號(hào)2幢平房B-1011
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了基于Spark和Hive的分布式OLAP即席查詢方法，包括如下步驟：1、由OLAP Query開始，可以是任一種方式觸發(fā)OLAP Query，是引擎執(zhí)行的第一個(gè)階段；2、在Query獲取Query Keyword后，會(huì)進(jìn)行關(guān)鍵詞的Validator，即驗(yàn)證檢測；3、驗(yàn)證后如果驗(yàn)證結(jié)果通過則進(jìn)行后續(xù)Cache操作；4、進(jìn)行Router路由匹配；5、進(jìn)行SQL Rewrite；6、本階段執(zhí)行引擎會(huì)進(jìn)行執(zhí)行，并得到相應(yīng)的結(jié)果。本專利的優(yōu)點(diǎn)在于，不僅支持海量數(shù)據(jù)，還可以支撐海量數(shù)據(jù)下任意維度和時(shí)間跨度的高效統(tǒng)計(jì)查詢，提供一個(gè)靈活多維度的組合型查詢工具，對(duì)應(yīng)不同維度的業(yè)務(wù)分析。