基于蟻群算法的Spark任務(wù)智能感知調(diào)度方法

基本信息

申請?zhí)?/td> CN201910250517.9 申請日 -
公開（公告）號 CN110086855B 公開（公告）日 2021-11-05
申請公布號 CN110086855B 申請公布日 2021-11-05
分類號 H04L29/08（2006.01）I;G06N3/00（2006.01）I 分類 電通信技術(shù);
發(fā)明人 陳華;李凱 申請（專利權(quán)）人 江蘇開拓信息與系統(tǒng)有限公司
代理機(jī)構(gòu) 無錫市匯誠永信專利代理事務(wù)所（普通合伙） 代理人 王闖;葛莉華
地址 214000江蘇省無錫市濱湖區(qū)蠡湖商務(wù)園9號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于蟻群算法的Spark任務(wù)智能感知調(diào)度方法，其特征在于，客戶端向任務(wù)調(diào)度控制器發(fā)送計(jì)算請求；集群資源智能控制器通過kafka消息組件實(shí)時(shí)收集各spark計(jì)算結(jié)點(diǎn)上的工作負(fù)載和在運(yùn)行時(shí)加載流量信息并進(jìn)行數(shù)據(jù)的匯聚；集群資源智能控制器通過基于蟻群算法的調(diào)度計(jì)算方法對各spark計(jì)算結(jié)點(diǎn)的資源進(jìn)行計(jì)算；任務(wù)調(diào)度控制器調(diào)取集群資源智能控制器計(jì)算之后的任務(wù)資源信息；任務(wù)調(diào)度控制器按新的計(jì)算需求執(zhí)行的資源與運(yùn)行權(quán)重，與各個(gè)spark計(jì)算結(jié)點(diǎn)進(jìn)行通信，把新計(jì)算任務(wù)加載到合適的spark計(jì)算結(jié)點(diǎn)中；spark計(jì)算結(jié)點(diǎn)獲取計(jì)算任務(wù)后，從Hadoop數(shù)據(jù)資源中獲取實(shí)際的計(jì)算數(shù)據(jù)，并進(jìn)行計(jì)算工作。采用本方案后最大限度地提升資源利用率和計(jì)算性能。