視頻物體識別構(gòu)建音頻方法、系統(tǒng)、裝置及可讀存儲介質(zhì)

基本信息

申請?zhí)?/td> CN202010517903.2 申請日 -
公開(公告)號 CN111681676A 公開(公告)日 2020-09-18
申請公布號 CN111681676A 申請公布日 2020-09-18
分類號 G10L25/51(2013.01)I 分類 樂器;聲學(xué);
發(fā)明人 薛媛;金若熙 申請(專利權(quán))人 杭州星合尚世影視傳媒有限公司
代理機構(gòu) 杭州五洲普華專利代理事務(wù)所(特殊普通合伙) 代理人 張瑜
地址 310000浙江省杭州市江干區(qū)九華路1號8幢5樓507室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開一種視頻物體識別構(gòu)建音頻方法,包括以下步驟:基于待處理視頻的相關(guān)信息設(shè)置抽幀頻率,抽取視頻關(guān)鍵幀并生成幀圖流;采用深度卷積神經(jīng)網(wǎng)絡(luò)模型對所述幀圖流進行模塊化多物體識別,得到模塊化的特定發(fā)聲物體;對模塊化的特定發(fā)聲物體通過深度殘差網(wǎng)絡(luò)模型進行至少二次識別分析處理,得到特定發(fā)聲物體的種類;基于特定發(fā)聲物體的種類提取其發(fā)聲特征并構(gòu)建特定發(fā)聲物體的物體類別和特定發(fā)聲物體合適的音頻。通過采用深度卷積神經(jīng)網(wǎng)絡(luò)模型對視頻進行模塊化識別,再通過深度殘差網(wǎng)絡(luò)模型進行二次甚至更多次識別分析處理,能夠等到更精確的特定發(fā)聲物體的種類,進而能夠構(gòu)建出更合適的音頻。??