一種分布式計算系統(tǒng)的任務(wù)調(diào)度方法

基本信息

申請?zhí)?/td> CN201210593388.1 申請日 -
公開（公告）號 CN103078941B 公開（公告）日 2016-01-20
申請公布號 CN103078941B 申請公布日 2016-01-20
分類號 H04L29/08(2006.01)I 分類 電通信技術(shù);
發(fā)明人 岳洋;鈕毅 申請（專利權(quán)）人 中金數(shù)據(jù)集團有限公司
代理機構(gòu) 北京三聚陽光知識產(chǎn)權(quán)代理有限公司 代理人 寇海俠
地址 100176 北京市大興區(qū)北京經(jīng)濟技術(shù)開發(fā)區(qū)博興八路1號
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種分布式計算系統(tǒng)的任務(wù)調(diào)度方法及系統(tǒng)，其中所述方法包括如下步驟：①將分布式計算系統(tǒng)集群中節(jié)點設(shè)置主節(jié)點和工作節(jié)點；②主節(jié)點將輸入文件分成多個數(shù)據(jù)段；③主節(jié)點為工作節(jié)點分配數(shù)據(jù)段和任務(wù)，主節(jié)點從中提取出初始鍵值對并處理生成中間鍵值對，存儲至公共區(qū)域；④主節(jié)點判斷所有數(shù)據(jù)段的處理是否完成，若是則執(zhí)行⑤，若否則執(zhí)行③；⑤將中間鍵值對分成多個區(qū)并排序；⑥最后完成數(shù)據(jù)段處理的工作節(jié)點對中間鍵值對進行處理，將最終結(jié)果存儲到所屬區(qū)；⑦返回。本發(fā)明所述的分布式計算系統(tǒng)的任務(wù)調(diào)度方法及系統(tǒng)，負(fù)責(zé)分配任務(wù)的主節(jié)點僅負(fù)責(zé)分配任務(wù)，最后匯總計算處理結(jié)果由工作節(jié)點來完成，從而減輕在化簡階段的系統(tǒng)瓶頸問題。