一種跨模態(tài)神經(jīng)網(wǎng)絡(luò)構(gòu)建方法、行人檢索方法及系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN202111302766.1 申請(qǐng)日 -
公開（公告）號(hào) CN113743544A 公開（公告）日 2021-12-03
申請(qǐng)公布號(hào) CN113743544A 申請(qǐng)公布日 2021-12-03
分類號(hào) G06K9/62（2006.01）I;G06K9/00（2006.01）I;G06N3/08（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 張德馨 申請(qǐng)（專利權(quán)）人 中科智為科技（天津）有限公司
代理機(jī)構(gòu) 西安迪業(yè)欣知識(shí)產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 校麗麗
地址 300450天津市濱海新區(qū)天津經(jīng)濟(jì)技術(shù)開發(fā)區(qū)濱海-中關(guān)村科技園泉州道3號(hào)北塘建設(shè)發(fā)展大廈B座215室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種跨模態(tài)神經(jīng)網(wǎng)絡(luò)構(gòu)建方法、行人檢索方法及系統(tǒng)，屬于數(shù)據(jù)分析檢索技術(shù)領(lǐng)域，能夠解決跨模態(tài)識(shí)別精度較低，行人識(shí)別效果較差的問題。所述方法包括：獲取可見光樣本圖像和近紅外樣本圖像，并對(duì)可見光樣本圖像和近紅外樣本圖像進(jìn)行預(yù)處理，得到可見光塊序列數(shù)據(jù)和近紅外塊序列數(shù)據(jù)；將可見光塊序列數(shù)據(jù)輸入至第一自注意力機(jī)制模塊中，獲得可見光全局特征和可見光局部特征；并將近紅外塊序列數(shù)據(jù)輸入至第二自注意力機(jī)制模塊中，獲得近紅外全局特征和近紅外局部特征；利用可見光全局特征、可見光局部特征、近紅外全局特征和近紅外局部特征訓(xùn)練第一神經(jīng)網(wǎng)絡(luò)，得到跨模態(tài)神經(jīng)網(wǎng)絡(luò)。本發(fā)明用于跨模態(tài)圖像識(shí)別。