基于python實(shí)現(xiàn)的多模型融合并行推理方法、裝置及系統(tǒng)

基本信息

申請?zhí)?/td> CN202110392000.0 申請日 -
公開（公告）號(hào) CN112966825A 公開（公告）日 2021-06-15
申請公布號(hào) CN112966825A 申請公布日 2021-06-15
分類號(hào) G06N5/04（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 王璐威;吳彰鵬 申請（專利權(quán)）人 杭州欣禾圣世科技有限公司
代理機(jī)構(gòu) 杭州創(chuàng)信知識(shí)產(chǎn)權(quán)代理有限公司 代理人 楊燕霞
地址 311100浙江省杭州市余杭區(qū)余杭街道文一西路1818-2號(hào)6幢406室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開一種基于python實(shí)現(xiàn)的多模型融合并行推理方法，包括獲取參與推理的多個(gè)異構(gòu)模型，將多個(gè)異構(gòu)模型按照預(yù)設(shè)規(guī)則轉(zhuǎn)換成標(biāo)準(zhǔn)子模型；將每個(gè)子模型的結(jié)構(gòu)和權(quán)重字典與總模型的每條分支相互對(duì)應(yīng)，基于每個(gè)子模型的結(jié)構(gòu)和權(quán)重字典將每個(gè)標(biāo)準(zhǔn)子模型融合成總模型；將總模型加載至GPU中，并對(duì)融合后的總模型進(jìn)行推理驗(yàn)證；定義總模型的輸出為每個(gè)子模型的輸出組成的列表，通過列表索引將總模型的推理結(jié)果映射回子模型。推理效率高，相較于多進(jìn)程、多線程并行推理方法，本發(fā)明只在一個(gè)進(jìn)程中運(yùn)行，沒有進(jìn)程間、線程間的調(diào)度問題，效率更高。節(jié)約存儲(chǔ)資源，將多個(gè)子模型融合為一個(gè)總模型，相較于多進(jìn)程方法，本發(fā)明只需一份輸入數(shù)據(jù)，節(jié)約了存儲(chǔ)資源。