Hive文件讀寫方法及裝置

基本信息

申請?zhí)?/td> CN201810593791.1 申請日 -
公開（公告）號 CN109086293B 公開（公告）日 2018-12-25
申請公布號 CN109086293B 申請公布日 2018-12-25
分類號 G06F16/13(2019.01)I;G06F16/182(2019.01)I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 吳強(qiáng) 申請（專利權(quán)）人 玖富數(shù)科科技集團(tuán)有限責(zé)任公司
代理機(jī)構(gòu) 北京正理專利代理有限公司 代理人 付生輝
地址 100000北京市朝陽區(qū)阜通東大街1號院5號樓2單元324005
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種Hive文件讀寫方法及裝置，包括：讀取數(shù)據(jù)接入表，獲取服務(wù)器信息和并行度信息；根據(jù)所述的服務(wù)器信息，生成執(zhí)行程序以連接Hive文件所在的服務(wù)器；根據(jù)所述的服務(wù)器信息和并行度信息，確定所述Hive文件的讀取線程數(shù)量、處理線程數(shù)量和分批大??；接入所述的Hive文件數(shù)據(jù)，進(jìn)行數(shù)據(jù)消費(fèi)。本發(fā)明提供的方法還包括Hive文件數(shù)據(jù)分組業(yè)務(wù)配置，組裝所述讀取的Hive文件數(shù)據(jù)，及根據(jù)數(shù)據(jù)消費(fèi)優(yōu)先級配置，確定所述數(shù)據(jù)消費(fèi)的順序。相比于傳統(tǒng)的Hive文件讀寫方法，本發(fā)明提供的技術(shù)方案避免了繁冗的編譯過程，緩解了讀取效率較低，無法控制讀取過程的問題。??