用于針灸的基于深度學(xué)習(xí)的多模態(tài)情緒分析方法及系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN202010724202.6 申請(qǐng)日 -
公開（公告）號(hào) CN111881812B 公開（公告）日 2021-10-08
申請(qǐng)公布號(hào) CN111881812B 申請(qǐng)公布日 2021-10-08
分類號(hào) G06K9/00（2006.01）I;G06K9/46（2006.01）I;G06K9/62（2006.01）I;G06N3/04（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 榮培晶;李少源;李亮 申請(qǐng)（專利權(quán)）人 中國(guó)中醫(yī)科學(xué)院針灸研究所
代理機(jī)構(gòu) 北京精金石知識(shí)產(chǎn)權(quán)代理有限公司 代理人 楊蘭蘭
地址 100700北京市東城區(qū)東直門內(nèi)南小街16號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種用于針灸的基于深度學(xué)習(xí)的多模態(tài)情緒分析方法及系統(tǒng)，屬于情緒識(shí)別技術(shù)領(lǐng)域。本發(fā)明對(duì)面部表情特征采用Gabor小波變換進(jìn)行特征提取，對(duì)腦電信號(hào)采用UPLBP進(jìn)行特征提取，進(jìn)行降維處理，然后將面部表情特征和腦電信號(hào)特征采用稀疏化線性融合，融合成為一個(gè)統(tǒng)一的、規(guī)范化的特征向量，并特征向量變換為張量形式，輸入CNN?LSTM網(wǎng)絡(luò)進(jìn)行訓(xùn)練，去除冗余信息并得到預(yù)測(cè)情緒分類信息，通過(guò)預(yù)測(cè)情緒分類信息與實(shí)際情緒分類信息對(duì)比，計(jì)算網(wǎng)絡(luò)的損失函數(shù)和正確率。本發(fā)明通過(guò)將表情特征和腦電信號(hào)特征進(jìn)行融合，去除冗余信息，經(jīng)過(guò)CNN?LSTM網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到預(yù)測(cè)情緒分類信息，提高了情緒識(shí)別準(zhǔn)確率。