門機(jī)制引導(dǎo)邊緣信息蒸餾的RGB-D圖像語義分割方法及終端

基本信息

申請?zhí)?/td> CN202011085260.5 申請日 -
公開（公告）號 CN112634296A 公開（公告）日 2021-04-09
申請公布號 CN112634296A 申請公布日 2021-04-09
分類號 G06T7/13;G06N3/04;G06N3/08;G06T5/30;G06T5/50 分類 計算；推算；計數(shù);
發(fā)明人 彭映青;鄒文斌;張正宇;田時舜;李霞;鄒光明 申請（專利權(quán)）人 深圳市慧視智聯(lián)科技有限公司
代理機(jī)構(gòu) 深圳市君勝知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 劉芙蓉
地址 518060 廣東省深圳市南山區(qū)南海大道3688號
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種基于門機(jī)制引導(dǎo)邊緣信息蒸餾的RGB?D圖像語義分割方法、存儲介質(zhì)及終端。方法包括：獲取待語義分割的RGB?D圖像，RGB?D圖像包括RGB圖像和RGB圖形對應(yīng)的深度圖像；將RGB圖像和RGB圖形對應(yīng)的深度圖像輸入預(yù)先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，得到RGB?D圖像對應(yīng)的語義分割結(jié)果；其中，所述神經(jīng)網(wǎng)絡(luò)包括：特征提取網(wǎng)絡(luò)層、門機(jī)制引導(dǎo)的特征融合網(wǎng)絡(luò)層、邊緣信息蒸餾網(wǎng)絡(luò)層及多層特征融合網(wǎng)絡(luò)層。通過采用門機(jī)制自適應(yīng)的學(xué)習(xí)彩色圖和深度圖之間的互補(bǔ)關(guān)系，將門機(jī)制生成的特征通過蒸餾網(wǎng)絡(luò)提取有鑒別性的邊緣信息來增強(qiáng)高層次語義特征圖的細(xì)節(jié)信息，并將各個門機(jī)制生成的特征圖進(jìn)一步逐層與解碼器的特征融合，增加更多的細(xì)節(jié)信息，從而生成更精準(zhǔn)高效的語義分割圖。