基于通道注意力與時(shí)間卷積網(wǎng)絡(luò)的句子級(jí)唇語識(shí)別方法

基本信息

申請(qǐng)?zhí)?/td> CN202210348821.9 申請(qǐng)日 -
公開（公告）號(hào) CN114694255A 公開（公告）日 2022-07-01
申請(qǐng)公布號(hào) CN114694255A 申請(qǐng)公布日 2022-07-01
分類號(hào) G06V40/20（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06V10/82（2022.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 薛峰;郭昊;李宏博;儲(chǔ)德軍;謝胤岑 申請(qǐng)（專利權(quán)）人 合肥工業(yè)大學(xué)
代理機(jī)構(gòu) 安徽省合肥新安專利代理有限責(zé)任公司 代理人 -
地址 230009安徽省合肥市包河區(qū)屯溪路193號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于通道注意力與時(shí)間卷積網(wǎng)絡(luò)的句子級(jí)唇語識(shí)別方法，包括：1、下載用于訓(xùn)練模型的數(shù)據(jù)集GRID和更具挑戰(zhàn)性的CMLR，并對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理；2、搭建本發(fā)明公開的唇語識(shí)別網(wǎng)絡(luò)，將經(jīng)預(yù)處理的數(shù)據(jù)集送入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，調(diào)整網(wǎng)絡(luò)參數(shù)，得到最優(yōu)的唇語識(shí)別網(wǎng)絡(luò)模型；4、用訓(xùn)練好的模型對(duì)視頻進(jìn)行唇語識(shí)別。本發(fā)明通過對(duì)唇語視頻在時(shí)域、空域的多尺度特征提取，結(jié)合注意力機(jī)制獲得了高質(zhì)量的唇語識(shí)別特征圖，從而能提高唇語識(shí)別精準(zhǔn)度，且其在更具挑戰(zhàn)性的CMLR數(shù)據(jù)集上的對(duì)應(yīng)評(píng)價(jià)指標(biāo)優(yōu)異。