一種基于關(guān)鍵對(duì)象特征的深度監(jiān)督跨模態(tài)檢索方法

基本信息

申請(qǐng)?zhí)?/td> CN202110208356.4 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN113010720A 公開(kāi)（公告）日 2021-06-22
申請(qǐng)公布號(hào) CN113010720A 申請(qǐng)公布日 2021-06-22
分類號(hào) G06F16/583;G06F16/33;G06N3/04;G06N3/08 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 曾煥強(qiáng);阮海濤;陳婧;張聯(lián)昌;劉青松;張帆 申請(qǐng)（專利權(quán)）人 廈門華聯(lián)電子股份有限公司
代理機(jī)構(gòu) 廈門市首創(chuàng)君合專利事務(wù)所有限公司 代理人 張松亭;王婷婷
地址 362000 福建省泉州市豐澤區(qū)城東城華北路269號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種基于關(guān)鍵對(duì)象特征的深度監(jiān)督跨模態(tài)檢索方法，具體包括：首先構(gòu)建特征學(xué)習(xí)模塊抽取每個(gè)模態(tài)的深度特征，建立每個(gè)模態(tài)的注意力網(wǎng)絡(luò)模型將各個(gè)模態(tài)抽取的特征分為關(guān)鍵特征和輔助特征，然后將每個(gè)模態(tài)抽取的關(guān)鍵特征和輔助特征進(jìn)行融合作為最終的語(yǔ)義表征，最后建立三重?fù)p失函數(shù)：公共空間損失，標(biāo)簽空間損失和模態(tài)間不變性損失對(duì)模型進(jìn)行訓(xùn)練學(xué)習(xí)。本發(fā)明提供的方法不僅能提高檢索速度而且能夠有效解決跨模態(tài)檢索中精確度不高的問(wèn)題。