一種面向人機(jī)交互的多類(lèi)信息耦合的情感識(shí)別方法

基本信息

申請(qǐng)?zhí)?/td> CN201410482861.8 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN104200804B 公開(kāi)（公告）日 2017-05-17
申請(qǐng)公布號(hào) CN104200804B 申請(qǐng)公布日 2017-05-17
分類(lèi)號(hào) G10L15/02(2006.01)I;G10L15/26(2006.01)I;G10L25/63(2013.01)I;G06K9/00(2006.01)I;G06K9/46(2006.01)I 分類(lèi) 樂(lè)器；聲學(xué);
發(fā)明人 孫曉;陳煒亮;李承程;任福繼 申請(qǐng)（專(zhuān)利權(quán)）人 山東心法科技有限公司
代理機(jī)構(gòu) 安徽省合肥新安專(zhuān)利代理有限責(zé)任公司 代理人 何梅生
地址 266000 山東省青島市市南區(qū)寧夏路288號(hào)市南軟件園11號(hào)樓A座5層504室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種基于深度學(xué)習(xí)的多類(lèi)信息耦合的情感識(shí)別方法，其特征是按如下步驟進(jìn)行：1獲取人臉表情的視頻數(shù)據(jù)以及語(yǔ)音數(shù)據(jù)；2對(duì)文本內(nèi)容進(jìn)行文本特征提取，獲得文本信息特征；3提取語(yǔ)音數(shù)據(jù)的韻律學(xué)特征和整體語(yǔ)音特征并進(jìn)行耦合，獲得語(yǔ)音信息特征；3對(duì)視頻數(shù)據(jù)進(jìn)行進(jìn)行圖像特征提取，獲得表情信息特征；4對(duì)文本信息特征、語(yǔ)音信息特征和表情信息特征進(jìn)行耦合，獲得綜合信息特征；5利用深度學(xué)習(xí)方法對(duì)綜合信息特征進(jìn)行數(shù)據(jù)優(yōu)化，并利用分類(lèi)器對(duì)優(yōu)化的綜合信息特征進(jìn)行訓(xùn)練，獲得情感識(shí)別模型，以情感識(shí)別模型實(shí)現(xiàn)對(duì)多類(lèi)信息耦合的情感識(shí)別。本發(fā)明能全面結(jié)合文本、語(yǔ)音和視頻三個(gè)方面的數(shù)據(jù)信息，從而提高人機(jī)交互中的情感狀態(tài)判斷的準(zhǔn)確度。