Hadoop多管道數(shù)據(jù)處理分析方法

基本信息

申請?zhí)?/td> CN201811174507.3 申請日 -
公開（公告）號 CN109299057A 公開（公告）日 2019-02-01
申請公布號 CN109299057A 申請公布日 2019-02-01
分類號 G06F16/182;G06F16/18;G06F16/16 分類 計算；推算；計數(shù);
發(fā)明人 林森;唐寧;馬娜 申請（專利權）人 北京快友世紀科技股份有限公司
代理機構 - 代理人 -
地址 100020 北京市朝陽區(qū)東三環(huán)北路甲2號7幢315室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種Hadoop多管道數(shù)據(jù)處理分析方法，該方法利用Hadoop分布式文件系統(tǒng)來處理海量數(shù)據(jù)，系統(tǒng)包括用戶節(jié)點、命名節(jié)點、塊掃描模塊和云端節(jié)點，用戶節(jié)點包括JAVA虛擬機，JAVA虛擬機包括Hadoop用戶端；云端節(jié)點包括數(shù)據(jù)節(jié)點；Hadoop用戶端向命名節(jié)點發(fā)送具有參數(shù)的打開命令；命名節(jié)點使用定位塊數(shù)據(jù)結構響應Hadoop用戶端；Hadoop用戶端通過為每個請求的塊發(fā)送包含所請求塊的塊ID，從所識別的數(shù)據(jù)節(jié)點直接請求文件的塊；接收請求的數(shù)據(jù)節(jié)點使用所請求塊的塊ID來訪問它正在存儲的相應塊之一，并用所訪問塊的數(shù)據(jù)響應Hadoop用戶端；Hadoop用戶端向命名節(jié)點指示想要將數(shù)據(jù)塊附加到現(xiàn)有文件；命名節(jié)點接收Hadoop用戶端發(fā)送的附加命令。