一種多模態(tài)和多尺度融合的候選區(qū)域生成方法及相關(guān)裝置

基本信息

申請(qǐng)?zhí)?/td> CN202111655197.9 申請(qǐng)日 -
公開（公告）號(hào) CN114372944A 公開（公告）日 2022-04-19
申請(qǐng)公布號(hào) CN114372944A 申請(qǐng)公布日 2022-04-19
分類號(hào) G06T5/50（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 陳瑞鋒;鄒文斌;田時(shí)舜;李霞 申請(qǐng)（專利權(quán)）人 慧視創(chuàng)新（深圳）有限公司
代理機(jī)構(gòu) 深圳市恒申知識(shí)產(chǎn)權(quán)事務(wù)所（普通合伙） 代理人 廖厚琪
地址 518000廣東省深圳市南山區(qū)粵海街道南海大道3688號(hào)
法律狀態(tài) -

摘要

摘要 根據(jù)本發(fā)明實(shí)施例公開的多模態(tài)和多尺度融合的候選區(qū)域生成方法及相關(guān)裝置，引入深度圖信息為網(wǎng)絡(luò)帶來豐富的三維幾何結(jié)構(gòu)信息，以此來改善單模態(tài)候選區(qū)域生成算法的局限性。同時(shí)，所提出的門機(jī)制引導(dǎo)的多模態(tài)融合模塊考慮了輸入圖像的噪聲和圖像質(zhì)量問題，能夠利用模態(tài)間的互補(bǔ)特征去彌補(bǔ)另一模態(tài)特征中的噪聲，提高各模態(tài)特征的質(zhì)量，并且該模塊能夠在充分聚合有用的多模態(tài)信息同時(shí)減少冗余特征的引入。此外，為了獲取更高質(zhì)量的多尺度特征，利用流引導(dǎo)的多尺度聚合模塊來提高高級(jí)語義信息在網(wǎng)絡(luò)間傳遞的效率，讓每個(gè)多尺度特征都能夠獲取到有用的全局信息，從而生成更準(zhǔn)確的候選區(qū)域框。