訓練深度神經(jīng)網(wǎng)絡的方法、裝置及系統(tǒng)

基本信息

申請?zhí)?/td> CN201610641310.0 申請日 -
公開（公告）號 CN107688493B 公開（公告）日 2021-06-18
申請公布號 CN107688493B 申請公布日 2021-06-18
分類號 G06F9/50;G06F9/54;G06N3/08 分類 計算；推算；計數(shù);
發(fā)明人 張斌;黃俊;劉忠義 申請（專利權）人 阿里巴巴（中國）網(wǎng)絡技術有限公司
代理機構(gòu) 北京鼎佳達知識產(chǎn)權代理事務所（普通合伙） 代理人 王偉鋒;劉鐵生
地址 浙江省杭州市濱江區(qū)網(wǎng)商路699號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種訓練深度神經(jīng)網(wǎng)絡的方法、裝置及系統(tǒng)，涉及互聯(lián)網(wǎng)技術領域，為解決深度神經(jīng)網(wǎng)絡訓練效率低下的問題而發(fā)明。本發(fā)明的方法包括：交互平臺根據(jù)深度神經(jīng)網(wǎng)絡的映射層數(shù)量激活同等數(shù)量的參數(shù)服務器，基于訓練樣本的樣本數(shù)量激活特定數(shù)量的計算節(jié)點，并將訓練樣本發(fā)送給計算節(jié)點；計算節(jié)點基于各自獲得的訓練樣本集合分別對參數(shù)服務器對應的映射層進行訓練，將獲得的訓練參數(shù)發(fā)送給參數(shù)服務器；參數(shù)服務器將不同計算節(jié)點發(fā)送的訓練參數(shù)進行合并，獲得更新后的訓練參數(shù)，并將更新后的訓練參數(shù)發(fā)送給對應的計算節(jié)點。本發(fā)明主要應用于大數(shù)據(jù)環(huán)境下的深度神經(jīng)網(wǎng)絡訓練過程中。