基于蟻群算法的Spark任務(wù)智能感知調(diào)度方法

基本信息

申請(qǐng)?zhí)?/td> CN201910250517.9 申請(qǐng)日 -
公開（公告）號(hào) CN110086855A 公開（公告）日 2019-08-02
申請(qǐng)公布號(hào) CN110086855A 申請(qǐng)公布日 2019-08-02
分類號(hào) H04L29/08（2006.01）I; G06N3/00（2006.01）I 分類 電通信技術(shù);
發(fā)明人 陳華; 李凱 申請(qǐng)（專利權(quán)）人 江蘇開拓信息與系統(tǒng)有限公司
代理機(jī)構(gòu) 無(wú)錫市匯誠(chéng)永信專利代理事務(wù)所（普通合伙） 代理人 王闖;葛莉華
地址 214000 江蘇省無(wú)錫市濱湖區(qū)蠡湖商務(wù)園9號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于蟻群算法的Spark任務(wù)智能感知調(diào)度方法，其特征在于，客戶端向任務(wù)調(diào)度控制器發(fā)送計(jì)算請(qǐng)求；集群資源智能控制器通過(guò)kafka消息組件實(shí)時(shí)收集各spark計(jì)算結(jié)點(diǎn)上的工作負(fù)載和在運(yùn)行時(shí)加載流量信息并進(jìn)行數(shù)據(jù)的匯聚；集群資源智能控制器通過(guò)基于蟻群算法的調(diào)度計(jì)算方法對(duì)各spark計(jì)算結(jié)點(diǎn)的資源進(jìn)行計(jì)算；任務(wù)調(diào)度控制器調(diào)取集群資源智能控制器計(jì)算之后的任務(wù)資源信息；任務(wù)調(diào)度控制器按新的計(jì)算需求執(zhí)行的資源與運(yùn)行權(quán)重，與各個(gè)spark計(jì)算結(jié)點(diǎn)進(jìn)行通信，把新計(jì)算任務(wù)加載到合適的spark計(jì)算結(jié)點(diǎn)中；spark計(jì)算結(jié)點(diǎn)獲取計(jì)算任務(wù)后，從Hadoop數(shù)據(jù)資源中獲取實(shí)際的計(jì)算數(shù)據(jù)，并進(jìn)行計(jì)算工作。采用本方案后最大限度地提升資源利用率和計(jì)算性能。