一種量化推理超參數(shù)大于1時確保推理精度的方法

基本信息

申請?zhí)?/td> CN202011622526.5 申請日 -
公開（公告）號 CN114692877A 公開（公告）日 2022-07-01
申請公布號 CN114692877A 申請公布日 2022-07-01
分類號 G06N5/04（2006.01）I;G06N3/04（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 周飛飛 申請（專利權(quán)）人 合肥君正科技有限公司
代理機(jī)構(gòu) 北京嘉東律師事務(wù)所 代理人 -
地址 230088安徽省合肥市高新區(qū)望江西路800號合肥高新股份有限公司C-3研發(fā)樓9層
法律狀態(tài) -

摘要

摘要 本發(fā)明一種量化推理超參數(shù)大于1時確保推理精度的方法，包括：假設(shè)第i層的量化計算如下所示：Xq＝scale（Qf*Qw+bias）然后把scale進(jìn)行31位定點(diǎn)化運(yùn)算：其中，增加scale大于1.0的定點(diǎn)化過程，即增加left_shift參數(shù)，增加left_shift右移操作值，在對模型超參數(shù)量化移位過程中減去left_shift參數(shù)，確保網(wǎng)絡(luò)在scale推理參數(shù)能夠滿足模型的定點(diǎn)化通用性。所述方法旨在修改模型的定點(diǎn)化過程，使得模型能夠同時滿足scale大于或者小于1的情況。