預(yù)訓(xùn)練模型推理處理方法、裝置、電子設(shè)備及存儲介質(zhì)

基本信息

申請?zhí)?/td> CN202210234098.1 申請日 -
公開（公告）號 CN114676760A 公開（公告）日 2022-06-28
申請公布號 CN114676760A 申請公布日 2022-06-28
分類號 G06K9/62（2022.01）I;G06N5/04（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 賈超;鄭直 申請（專利權(quán)）人 北京智源人工智能研究院
代理機構(gòu) 北京路浩知識產(chǎn)權(quán)代理有限公司 代理人 -
地址 100080北京市海淀區(qū)中關(guān)村東路1號院8號樓三層B201D-1
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種預(yù)訓(xùn)練模型推理處理方法、裝置、電子設(shè)備及存儲介質(zhì)，所述方法應(yīng)用于對待處理模型進(jìn)行推理處理的服務(wù)器，所述方法包括：確定所述待處理模型，其中，所述待處理模型采用高比特浮點數(shù)進(jìn)行表示且通過預(yù)訓(xùn)練得到，所述高比特浮點數(shù)的位數(shù)大于或等于第一位數(shù)閾值；基于模型量化技術(shù)，將所述待處理模型的模型參數(shù)由采用所述高比特浮點數(shù)表示轉(zhuǎn)化為采用低比特定點數(shù)表示，用以實現(xiàn)對所述待處理模型進(jìn)行加速推理處理，其中，所述低比特定點數(shù)的位數(shù)小于或等于第二位數(shù)閾值。通過本發(fā)明的預(yù)訓(xùn)練模型推理處理方法，實現(xiàn)了大規(guī)模待處理模型在推理過程中的低成本性和高處理速度性。