一種量化推理過程低位寬bias越界處理方法

基本信息

申請?zhí)?/td> CN202011617758.1 申請日 -
公開（公告）號 CN114692876A 公開（公告）日 2022-07-01
申請公布號 CN114692876A 申請公布日 2022-07-01
分類號 G06N5/04（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 周飛飛 申請（專利權(quán)）人 合肥君正科技有限公司
代理機(jī)構(gòu) 北京嘉東律師事務(wù)所 代理人 -
地址 230088安徽省合肥市高新區(qū)望江西路800號合肥高新股份有限公司C-3研發(fā)樓9層
法律狀態(tài) -

摘要

摘要 本發(fā)明方法旨在剔除模型進(jìn)行低bit量化過程中合并bias時(shí)存在的異常值，確保模型推理精度和訓(xùn)練網(wǎng)絡(luò)框架保持一致性。提供一種量化推理過程低位寬bias越界處理方法，所述方法包括深度學(xué)習(xí)卷積浮點(diǎn)型float操作，包括步驟：S1，輸入浮點(diǎn)型數(shù)據(jù)；S2，進(jìn)行卷積，進(jìn)行權(quán)重合并；S3，進(jìn)行批量標(biāo)準(zhǔn)化,量化過程中存在對相關(guān)參數(shù)的合并，會(huì)對batchnorm通道gamma值進(jìn)行單獨(dú)處理，具體量化時(shí)對batchnorm的推導(dǎo)公式如下：假設(shè)第i層的量化計(jì)算：實(shí)際訓(xùn)練過程中對gamm限制在0.1及以上，確保bias不越界；S4，輸出浮點(diǎn)型結(jié)果。