視頻處理方法及裝置、神經(jīng)網(wǎng)絡的訓練方法及裝置

基本信息

申請?zhí)?/td> CN202111296799.X 申請日 -
公開（公告）號 CN113723385A 公開（公告）日 2021-11-30
申請公布號 CN113723385A 申請公布日 2021-11-30
分類號 G06K9/00（2006.01）I;G06K9/46（2006.01）I;G06K9/62（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 陳奕名;王麒銘;欒鵬龍;蘭永亮;賈兆柱 申請（專利權(quán)）人 新東方教育科技集團有限公司
代理機構(gòu) 北京市柳沈律師事務所 代理人 彭久云
地址 100080北京市海淀區(qū)海淀中街6號9層
法律狀態(tài) -

摘要

摘要 一種視頻處理方法及裝置、神經(jīng)網(wǎng)絡的訓練方法及裝置。該視頻處理方法包括：獲取至少一個幀圖像和音頻片段；對至少一個幀圖像進行預處理，得到面部區(qū)域的嘴部特征信息；基于嘴部特征信息和音頻片段，使用視頻處理網(wǎng)絡對至少一個幀圖像進行處理，得到目標視頻，其中，目標視頻中的對象具有與音頻片段同步的嘴型變化，嘴部特征信息至少用于向視頻處理網(wǎng)絡提供每個對象的面部區(qū)域和嘴部的基本輪廓，以及每個對象的面部區(qū)域和嘴部的位置關(guān)系。在該視頻處理方法中，利用嘴部特征信息向視頻處理網(wǎng)絡提供臉部與嘴部的大致輪廓與位置，方便網(wǎng)絡生成更加準確的嘴部區(qū)域，所得到的目標視頻的嘴型部分匹配度更高，準確度也更高。