一種神經(jīng)網(wǎng)絡(luò)模型壓縮方法及裝置
基本信息
| 申請?zhí)?/td> | CN202010306190.5 | 申請日 | - |
| 公開（公告）號 | CN111582471A | 公開（公告）日 | 2020-08-25 |
| 申請公布號 | CN111582471A | 申請公布日 | 2020-08-25 |
| 分類號 | G06N3/08(2006.01)I;G06N3/04(2006.01)I | 分類 | - |
| 發(fā)明人 | 方濟生 | 申請（專利權(quán)）人 | 中科物棲（北京）科技有限責任公司 |
| 代理機構(gòu) | 北京和信華成知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） | 代理人 | 胡劍輝 |
| 地址 | 100086北京市海淀區(qū)科學院南路6號中國科學院計算技術(shù)研究所科研綜合樓12層1248室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明實施例涉及一種神經(jīng)網(wǎng)絡(luò)模型壓縮方法及裝置，所述方法包括：對已訓練的神經(jīng)網(wǎng)絡(luò)模型中的權(quán)重和激活值進行量化；確定量化后的神經(jīng)網(wǎng)絡(luò)模型中每一層的位剪枝強度；針對所述量化后的神經(jīng)網(wǎng)絡(luò)模型的每一層，基于該層的位剪枝強度對該層中的權(quán)重進行剪枝處理；對剪枝處理后的神經(jīng)網(wǎng)絡(luò)模型進行重訓練。由此，可以實現(xiàn)充分地降低神經(jīng)網(wǎng)絡(luò)模型的位冗余，進一步則可以使得神經(jīng)網(wǎng)絡(luò)模型在位串行加速器上具有良好的性能表現(xiàn)。?? |
