一種漸進(jìn)式的深度學(xué)習(xí)模型的超參數(shù)尋優(yōu)方法

基本信息

申請(qǐng)?zhí)?/td> CN202111002372.4 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN113780575A 公開(kāi)（公告）日 2021-12-10
申請(qǐng)公布號(hào) CN113780575A 申請(qǐng)公布日 2021-12-10
分類號(hào) G06N20/00（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 都衛(wèi)東;方志斌;王巖松;和江鎮(zhèn);張中信;吳健雄 申請(qǐng)（專利權(quán)）人 征圖智能科技（江蘇）有限公司
代理機(jī)構(gòu) 常州品益專利代理事務(wù)所（普通合伙） 代理人 王涵江
地址 211100江蘇省南京市江寧區(qū)東吉大道1號(hào)（江寧開(kāi)發(fā)區(qū)）
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種漸進(jìn)式的深度學(xué)習(xí)模型的超參數(shù)尋優(yōu)方法，包括：步驟一：生成多個(gè)不同的深度學(xué)習(xí)模型，并從超參數(shù)空間中為每一個(gè)模型選取一組超參數(shù)；步驟二：在訓(xùn)練集上訓(xùn)練每一個(gè)模型一定的代數(shù)，步驟三：對(duì)模型按照性能的高低從高到低進(jìn)行排序；采用逐次減半的方法，保留性能排名50％之前的模型；步驟四：在保留的模型中選取部分模型對(duì)模型的超參數(shù)進(jìn)行擾動(dòng)；步驟五：繼續(xù)在訓(xùn)練集上訓(xùn)練每一個(gè)模型一定的代數(shù)，步驟六：判斷是否滿足最大迭代次數(shù)，如是則保存最優(yōu)的模型并終止訓(xùn)練至結(jié)束。采用這種逐次減半的方式訓(xùn)練的超參數(shù)尋優(yōu)方法,有利于使用更多的資源尋優(yōu)表現(xiàn)優(yōu)異的超參數(shù)，減少了相似模型的重復(fù)訓(xùn)練，使模型得到更優(yōu)的性能。