一種基于TVM的NPU神經(jīng)網(wǎng)絡(luò)模型部署方法及裝置

基本信息

申請?zhí)?/td> CN202210482702.2 申請日 -
公開（公告）號(hào) CN114721670A 公開（公告）日 2022-07-08
申請公布號(hào) CN114721670A 申請公布日 2022-07-08
分類號(hào) G06F8/60（2018.01）I;G06F8/41（2018.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06N3/063（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 賈豐榮;蔡萬偉;陳寧 申請（專利權(quán)）人 深圳云天勵(lì)飛技術(shù)股份有限公司
代理機(jī)構(gòu) 北京三聚陽光知識(shí)產(chǎn)權(quán)代理有限公司 代理人 -
地址 518000廣東省深圳市龍崗區(qū)園山街道龍崗大道8288號(hào)深圳大運(yùn)軟件小鎮(zhèn)17棟1樓
法律狀態(tài) -

摘要

摘要 本申請?zhí)峁┮环N基于TVM的NPU神經(jīng)網(wǎng)絡(luò)模型部署方法及裝置，包括：獲取待部署的神經(jīng)網(wǎng)絡(luò)模型和當(dāng)前NPU的硬件屬性信息；根據(jù)神經(jīng)網(wǎng)絡(luò)模型的計(jì)算邏輯，確定待部署到當(dāng)前NPU的卷積算子；根據(jù)當(dāng)前NPU的硬件屬性信息和各卷積算子的參數(shù)信息，確定各卷積算子在當(dāng)前NPU中的最優(yōu)參數(shù)配置；根據(jù)最優(yōu)參數(shù)配置和當(dāng)前NPU的硬件屬性信息，調(diào)整tir層的數(shù)據(jù)布局和卷積權(quán)重，對relay層的參數(shù)進(jìn)行修改，得到適配當(dāng)前NPU的目標(biāo)TVM；基于目標(biāo)TVM，生成神經(jīng)網(wǎng)絡(luò)模型適用于當(dāng)前NPU的部署文件。通過對TVM的tir層和relay層進(jìn)行相應(yīng)的參數(shù)調(diào)整，以使得到的目標(biāo)TVM能夠適配該NPU。