一種基于HDFS集群的海量數(shù)據(jù)分析統(tǒng)計方法

基本信息

申請?zhí)?/td> CN201710206439.3 申請日 -
公開（公告）號 CN107025140A 公開（公告）日 2017-08-08
申請公布號 CN107025140A 申請公布日 2017-08-08
分類號 G06F9/50(2006.01)I;G06F17/30(2006.01)I 分類 計算；推算；計數(shù);
發(fā)明人 林森;唐寧;馬娜 申請（專利權）人 北京快友世紀科技股份有限公司
代理機構 - 代理人 -
地址 100020 北京市朝陽區(qū)東三環(huán)北路甲2號7幢315室
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種基于HDFS集群的海量數(shù)據(jù)分析統(tǒng)計方法，其特征在于：包括建立支線調度器，采用配置文件創(chuàng)建支線，初始化支線，數(shù)據(jù)分組，數(shù)據(jù)統(tǒng)計輸出，以及釋放資源。本發(fā)明通過設置支線，將全部數(shù)據(jù)掃描的次數(shù)從數(shù)據(jù)維度數(shù)降為1次，從而大幅提高統(tǒng)計分析數(shù)據(jù)的效率。并且，由于采用“支線”，在完成一個數(shù)據(jù)維度的統(tǒng)計后，負責該維度統(tǒng)計的支線所占用的系統(tǒng)資源釋放將得到釋放，這些系統(tǒng)資源又可運用于其他數(shù)據(jù)統(tǒng)計和分析，在不增加硬件設備的情況下，滿足了當前廣告業(yè)界對業(yè)務數(shù)據(jù)統(tǒng)計的高需求。