視頻處理方法及裝置、神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法及裝置

基本信息

申請?zhí)?/td> CN202111296799.X 申請日 -
公開（公告）號(hào) CN113723385B 公開（公告）日 2022-05-17
申請公布號(hào) CN113723385B 申請公布日 2022-05-17
分類號(hào) G06V40/16（2022.01）I;G06V20/40（2022.01）I;G06V10/44（2022.01）I;G06V10/75（2022.01）I;G06V10/774（2022.01）I;G06V10/82（2022.01）I;G06K9/62（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 陳奕名;王麒銘;欒鵬龍;蘭永亮;賈兆柱 申請（專利權(quán)）人 新東方教育科技集團(tuán)有限公司
代理機(jī)構(gòu) 北京市柳沈律師事務(wù)所 代理人 -
地址 100080北京市海淀區(qū)海淀中街6號(hào)9層
法律狀態(tài) -

摘要

摘要 一種視頻處理方法及裝置、神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法及裝置。該視頻處理方法包括：獲取至少一個(gè)幀圖像和音頻片段；對至少一個(gè)幀圖像進(jìn)行預(yù)處理，得到面部區(qū)域的嘴部特征信息；基于嘴部特征信息和音頻片段，使用視頻處理網(wǎng)絡(luò)對至少一個(gè)幀圖像進(jìn)行處理，得到目標(biāo)視頻，其中，目標(biāo)視頻中的對象具有與音頻片段同步的嘴型變化，嘴部特征信息至少用于向視頻處理網(wǎng)絡(luò)提供每個(gè)對象的面部區(qū)域和嘴部的基本輪廓，以及每個(gè)對象的面部區(qū)域和嘴部的位置關(guān)系。在該視頻處理方法中，利用嘴部特征信息向視頻處理網(wǎng)絡(luò)提供臉部與嘴部的大致輪廓與位置，方便網(wǎng)絡(luò)生成更加準(zhǔn)確的嘴部區(qū)域，所得到的目標(biāo)視頻的嘴型部分匹配度更高，準(zhǔn)確度也更高。