用于輕量化神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)化剪枝方法、裝置、介質(zhì)及設(shè)備

基本信息

申請(qǐng)?zhí)?/td> CN202011107507.9 申請(qǐng)日 -
公開（公告）號(hào) CN112241789A 公開（公告）日 2021-01-19
申請(qǐng)公布號(hào) CN112241789A 申請(qǐng)公布日 2021-01-19
分類號(hào) G06N3/08;G06K9/62 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 姚志強(qiáng);周曦;李連強(qiáng);梁俊文 申請(qǐng)（專利權(quán)）人 廣州云從凱風(fēng)科技有限公司
代理機(jī)構(gòu) 上海光華專利事務(wù)所（普通合伙） 代理人 代玲
地址 511458 廣東省廣州市南沙區(qū)金隆路26號(hào)1009房（僅限辦公用途）
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種用于輕量化神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)化剪枝方法,包括：根據(jù)神經(jīng)網(wǎng)絡(luò)中待剪枝的目標(biāo)層中的三維張量Filter構(gòu)建相似度矩陣；基于譜聚類對(duì)所述相似度矩陣對(duì)應(yīng)的三維張量Filter進(jìn)行聚類，得到多個(gè)聚類簇；確定每個(gè)聚類簇的質(zhì)心以及同一聚類簇中每個(gè)三維張量Filer與所述質(zhì)心的距離；刪除與質(zhì)心距離超過(guò)設(shè)定閾值對(duì)應(yīng)的三維張量Filter，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)模型。本發(fā)明作為結(jié)構(gòu)化剪枝方法，經(jīng)過(guò)結(jié)構(gòu)化剪枝后的神經(jīng)網(wǎng)絡(luò)的權(quán)值矩陣之間不存在非結(jié)構(gòu)化稀疏現(xiàn)象，可以直接利用現(xiàn)有的軟硬件進(jìn)行加速，且可以很自然的與其它輕量化神經(jīng)網(wǎng)絡(luò)技術(shù)，如知識(shí)蒸餾、權(quán)值量化等聯(lián)合使用以進(jìn)一步減少網(wǎng)絡(luò)冗余。