模型訓(xùn)練方法、裝置、存儲(chǔ)介質(zhì)及設(shè)備

基本信息

申請(qǐng)?zhí)?/td> CN202011566357.8 申請(qǐng)日 -
公開（公告）號(hào) CN114757244A 公開（公告）日 2022-07-15
申請(qǐng)公布號(hào) CN114757244A 申請(qǐng)公布日 2022-07-15
分類號(hào) G06K9/62（2022.01）I;G06N3/08（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 李億;練韻文 申請(qǐng)（專利權(quán)）人 華為云計(jì)算技術(shù)有限公司
代理機(jī)構(gòu) 深圳市賽恩倍吉知識(shí)產(chǎn)權(quán)代理有限公司 代理人 -
地址 550025貴州省貴安新區(qū)黔中大道交興功路華為云數(shù)據(jù)中心
法律狀態(tài) -

摘要

摘要 本申請(qǐng)公開了一種模型訓(xùn)練方法、裝置、存儲(chǔ)介質(zhì)及設(shè)備，屬于AI領(lǐng)域。在本申請(qǐng)實(shí)施例中，可以獲得神經(jīng)網(wǎng)絡(luò)模型對(duì)應(yīng)的梯度信息，然后根據(jù)梯度信息對(duì)第一訓(xùn)練數(shù)據(jù)子集中的訓(xùn)練數(shù)據(jù)進(jìn)行評(píng)估，獲得評(píng)估結(jié)果，最后根據(jù)評(píng)估結(jié)果調(diào)整索引表。這樣，調(diào)整后的索引表用于在下一個(gè)回合獲取第二訓(xùn)練數(shù)據(jù)子集。也即，本申請(qǐng)實(shí)施例可以實(shí)現(xiàn)在訓(xùn)練的過程中根據(jù)梯度信息動(dòng)態(tài)調(diào)整索引表，進(jìn)而可以在下一回合中根據(jù)索引表讀取相應(yīng)的第二訓(xùn)練數(shù)據(jù)子集。通過在每個(gè)回合對(duì)訓(xùn)練數(shù)據(jù)進(jìn)評(píng)估，動(dòng)態(tài)調(diào)整訓(xùn)練過程中的訓(xùn)練數(shù)據(jù)集，使得在模型的訓(xùn)練過程中能更快地達(dá)到訓(xùn)練目標(biāo)，節(jié)約訓(xùn)練時(shí)長(zhǎng)和訓(xùn)練消耗的算力。