一種基于邊云協(xié)作的分布式機器學習任務在線調(diào)度方法

基本信息

申請?zhí)?/td> CN202011413278.3 申請日 -
公開（公告）號 CN112579270A 公開（公告）日 2021-03-30
申請公布號 CN112579270A 申請公布日 2021-03-30
分類號 G06F9/48(2006.01)I;G06N20/00(2019.01)I 分類 計算；推算；計數(shù);
發(fā)明人 王訥;周睿婷;李宗鵬;黃浩 申請（專利權）人 南京萬般上品信息技術有限公司
代理機構 - 代理人 -
地址 211800江蘇省南京市中國（江蘇）自由已試驗區(qū)南京片區(qū)研創(chuàng)園團結路99號孵鷹大廈1914室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于邊云協(xié)作的分布式機器學習任務在線調(diào)度方法，包括以下步驟：步驟1:用整數(shù)線性規(guī)劃對最小化總完成時間的ML任務調(diào)度問題進行建模；步驟2:基于不相關并行機模型建立目標函數(shù)的一個下界，然后使用新變量njsw替換原問題的xjsw和nj，對原問題進行重新定制；步驟3:將重新定制后的問題解耦成2個優(yōu)化問題；步驟4:對于每一個到達的ML任務，依次將其Dj個數(shù)據(jù)塊分發(fā)到worker上；步驟5:記新到達的ML任務集合為[Ja]，當[Ja]中的所有任務均分配了workers之后，依次判斷每個任務是否正在使用worker。本發(fā)明的優(yōu)點在于：可以幫助云和邊緣服務器提供商最大化其資源利用，以獲得盡可能高的經(jīng)濟效益，同時根據(jù)各個用戶的任務量以及需求差異，動態(tài)調(diào)度以使整體訓練時間最短。??