注意力引導(dǎo)多模態(tài)特征融合的圖像語義分割方法及裝置

基本信息

申請?zhí)?/td> CN202111658857.9 申請日 -
公開（公告）號 CN114372986A 公開（公告）日 2022-04-19
申請公布號 CN114372986A 申請公布日 2022-04-19
分類號 G06T7/10（2017.01）I;G06V10/40（2022.01）I;G06K9/62（2022.01）I;G06V10/80（2022.01）I 分類 計算；推算；計數(shù);
發(fā)明人 欽闖;鄒文斌;田時舜;李霞;鄒輝 申請（專利權(quán)）人 慧視創(chuàng)新（深圳）有限公司
代理機(jī)構(gòu) 深圳市恒申知識產(chǎn)權(quán)事務(wù)所（普通合伙） 代理人 廖厚琪
地址 518000廣東省深圳市南山區(qū)粵海街道南海大道3688號
法律狀態(tài) -

摘要

摘要 根據(jù)本發(fā)明實施例公開的注意力引導(dǎo)多模態(tài)特征融合的圖像語義分割方法及裝置，對提取的彩色圖特征以及深度圖特征進(jìn)行混合；在通道和空間兩個維度上對混合特征進(jìn)行精煉并疊加到輸入特征中，消除深度圖噪聲，自適應(yīng)對齊兩部分特征；為進(jìn)一步互補(bǔ)地融合兩部分特征，通過獲取兩種特征對應(yīng)位置的重要程度，自適應(yīng)學(xué)習(xí)彩色圖和深度圖之間的互補(bǔ)關(guān)系，實現(xiàn)多模態(tài)特征的互補(bǔ)融合；為了在解碼階段引入重要的空間細(xì)節(jié)信息，采用多層特征融合方法引入編碼階段的融合特征，增加更多細(xì)節(jié)信息，使得分割時有更多信息關(guān)注到邊界區(qū)域，實現(xiàn)邊界區(qū)域的精細(xì)分割，從而生成更為精準(zhǔn)高效的語義分割圖。由此，有效提高了RGB?D圖像語義分割模型的魯棒性及分割精度。