基于多粒度的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)化稀疏系統(tǒng)和方法

基本信息

申請?zhí)?/td> CN201910556539.8 申請日 -
公開（公告）號 CN110276450B 公開（公告）日 2021-07-06
申請公布號 CN110276450B 申請公布日 2021-07-06
分類號 G06N3/08;G06N3/04 分類 計算；推算；計數(shù);
發(fā)明人 譚展宏 申請（專利權(quán)）人 交叉信息核心技術(shù)研究院（西安）有限公司
代理機構(gòu) 西安通大專利代理有限責(zé)任公司 代理人 李紅霖
地址 710077 陜西省西安市雁塔區(qū)天谷八路軟件新城二期B3五層
法律狀態(tài) -

摘要

摘要 本發(fā)明提供基于多粒度的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)化稀疏系統(tǒng)和方法，將三個粒度層次的權(quán)重剪枝以及激活輸入的稀疏結(jié)合起來進行算法優(yōu)化和系統(tǒng)架構(gòu)，能夠高效地將深度神經(jīng)網(wǎng)絡(luò)部署到邊緣設(shè)備，在低能耗約束條件下取得可觀的性能。通過結(jié)合通道層次、濾波器層次和濾波器內(nèi)剪枝三個層次，同時考慮硬件并行計算的約束，使得通道剪枝和濾波器剪枝的結(jié)果，其數(shù)目為16的倍數(shù)；對于濾波器內(nèi)的剪枝，通過算法優(yōu)化使得其形狀滿足特定要求，從而能夠?qū)崿F(xiàn)在硬件約束下的多粒度剪枝；通過三值網(wǎng)絡(luò)進行低比特量化，并且與后續(xù)的剪枝相結(jié)合，不僅保證有可觀的準確性和穩(wěn)定性，還可以很好地實現(xiàn)無乘法器的設(shè)計，從而實現(xiàn)低功耗的目的。