基于多模態(tài)的情緒識別方法

基本信息

申請?zhí)?/td> CN201810613472.2 申請日 -
公開（公告）號 CN108805089A 公開（公告）日 2021-06-29
申請公布號 CN108805089A 申請公布日 2021-06-29
分類號 G06K9/00;G06F17/27;G06K9/62;G10L25/63;G10L25/30 分類 計算；推算；計數(shù);
發(fā)明人 俞旸;凌志輝 申請（專利權(quán)）人 南京云思創(chuàng)智信息科技有限公司
代理機(jī)構(gòu) 南京知識律師事務(wù)所 代理人 張?zhí)K沛
地址 210042 江蘇省南京市玄武區(qū)玄武大道699-22號22棟301
法律狀態(tài) -

摘要

摘要 本發(fā)明的基于多模態(tài)的情緒識別方法，包括數(shù)據(jù)采集設(shè)備、輸出設(shè)備、情緒分析軟件系統(tǒng)，情緒分析軟件系統(tǒng)通過對數(shù)據(jù)采集設(shè)備得到的數(shù)據(jù)進(jìn)行綜合分析推理，最終把結(jié)果輸出至輸出設(shè)備上；具體步驟為：基于面部圖像表情情緒識別步驟、基于語音信號情緒識別步驟、基于文本語義情感分析步驟、基于人體姿態(tài)情緒識別步驟、基于生理信號情緒識別步驟，以及基于多輪對話語義理解步驟和基于時序多模態(tài)情緒語義融合關(guān)聯(lián)判斷步驟。本發(fā)明突破性的打通了五大單模態(tài)的情緒識別，創(chuàng)新性的利用深度神經(jīng)網(wǎng)絡(luò)將多個單模態(tài)的信息由神經(jīng)網(wǎng)絡(luò)編碼、深度的關(guān)聯(lián)和理解后進(jìn)行綜合判斷，大幅度的提高了準(zhǔn)確率，適用于絕大多數(shù)一般問詢互動類應(yīng)用場景。