一種消除模態(tài)差異的跨模態(tài)檢索方法和系統(tǒng)

基本信息

申請?zhí)?/td> CN202210551524.4 申請日 -
公開（公告）號 CN114764451A 公開（公告）日 2022-07-19
申請公布號 CN114764451A 申請公布日 2022-07-19
分類號 G06F16/583（2019.01）I;G06F16/58（2019.01）I;G06K9/62（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06V10/764（2022.01）I;G06V10/82（2022.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 吳俊毅;高志鵬;郭小強(qiáng);黃仁裕;趙建強(qiáng);杜新勝 申請（專利權(quán)）人 廈門市美亞柏科信息股份有限公司
代理機(jī)構(gòu) 廈門福貝知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 -
地址 361000福建省廈門市思明區(qū)軟件園二期觀日路12號102-402單元
法律狀態(tài) -

摘要

摘要 本發(fā)明給出了一種消除模態(tài)差異的跨模態(tài)檢索方法和系統(tǒng)，包括將RGB圖像和IR圖像隨機(jī)打亂，選取訓(xùn)練批作為輸入；引入中間模態(tài)數(shù)據(jù)，利用中間模態(tài)數(shù)據(jù)結(jié)合動態(tài)稀疏規(guī)范化偽標(biāo)簽策略以增強(qiáng)模型泛化性。本發(fā)明提出了一種漸進(jìn)式的消除模態(tài)差異的跨模態(tài)目標(biāo)檢索算法，將模型的關(guān)注點(diǎn)集中于圖像本身，而不是圖像對之間的ID關(guān)聯(lián)。緊接著引入中間模態(tài)的數(shù)據(jù)，進(jìn)一步防止IR圖像信息在訓(xùn)練過程中被忽略，中間模態(tài)數(shù)據(jù)集由非條件生成對抗網(wǎng)絡(luò)生成，并采用動態(tài)稀疏規(guī)范化偽標(biāo)簽策略來為中間模態(tài)數(shù)據(jù)集生成標(biāo)簽，可用于跨模態(tài)人臉檢索和行人檢索，該方法和系統(tǒng)在跨模態(tài)目標(biāo)檢索上有顯著的性能提升。