一種視頻/圖片-文本跨模態(tài)檢索方法

基本信息

申請?zhí)?/td> CN202011501900.6 申請日 -
公開（公告）號 CN112488133B 公開（公告）日 2022-06-14
申請公布號 CN112488133B 申請公布日 2022-06-14
分類號 G06V10/44（2022.01）I;G06V10/764（2022.01）I;G06V10/74（2022.01）I;G06K9/62（2022.01）I;G06N20/00（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 楊陽;位紀(jì)偉 申請（專利權(quán)）人 電子科技大學(xué)廣東電子信息工程研究院
代理機(jī)構(gòu) 成都行之專利代理事務(wù)所（普通合伙） 代理人 -
地址 550025貴州省貴陽市花溪區(qū)
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種視頻/圖片?文本跨模態(tài)檢索方法，在損失函數(shù)設(shè)計(jì)的兩個(gè)關(guān)鍵準(zhǔn)則下（損失函數(shù)的值隨著與正對相似度分?jǐn)?shù)成反比，與負(fù)對相似度分?jǐn)?shù)成正比；不同的相似度分?jǐn)?shù)應(yīng)有不同的懲罰強(qiáng)度）構(gòu)建了一個(gè)新的指數(shù)損失函數(shù)，該指數(shù)損失函數(shù)能為不同的視頻/圖片、文本依據(jù)它們的相似度分配不同的權(quán)重值，從而加速深度度量學(xué)習(xí)模型收斂，并學(xué)習(xí)獲得高度魯棒的視頻/圖片映射、文本映射的網(wǎng)絡(luò)參數(shù)，提高跨模態(tài)檢索精度，同時(shí)，極大減少了深度度量學(xué)習(xí)過程中的超參數(shù)，在保證精度和收斂速度的前提下，減少實(shí)驗(yàn)驗(yàn)證超參數(shù)的工作量。