基于知識(shí)蒸餾和多模態(tài)結(jié)合的質(zhì)檢方法

基本信息

申請(qǐng)?zhí)?/td> CN202111248179.9 申請(qǐng)日 -
公開（公告）號(hào) CN113919369A 公開（公告）日 2022-01-11
申請(qǐng)公布號(hào) CN113919369A 申請(qǐng)公布日 2022-01-11
分類號(hào) G06F40/35（2020.01）I;G10L15/06（2013.01）I;G06V10/764（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 操玉琴;宣明輝;張姍;周鴻章 申請(qǐng)（專利權(quán)）人 信雅達(dá)科技股份有限公司
代理機(jī)構(gòu) 杭州裕陽聯(lián)合專利代理有限公司 代理人 葛婷婕
地址 310051浙江省杭州市濱江區(qū)江南大道3888號(hào)信雅達(dá)科技大廈
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于知識(shí)蒸餾和多模態(tài)結(jié)合的質(zhì)檢方法，包含：搭建質(zhì)檢音頻模型并對(duì)其進(jìn)行訓(xùn)練；搭建質(zhì)檢文本模型并對(duì)其進(jìn)行訓(xùn)練；將音頻數(shù)據(jù)輸入訓(xùn)練好的質(zhì)檢音頻模型進(jìn)行學(xué)習(xí)得到音頻特征向量；將文本數(shù)據(jù)輸入訓(xùn)練好的質(zhì)檢文本模型進(jìn)行學(xué)習(xí)得到文本特征向量；將音頻特征向量和文本特征向量融合形成新的融合特征向量；根據(jù)融合特征向量進(jìn)行情緒預(yù)測。本發(fā)明的基于知識(shí)蒸餾和多模態(tài)結(jié)合的質(zhì)檢方法，利用教師模型結(jié)合數(shù)據(jù)增強(qiáng)的方法對(duì)學(xué)生模型進(jìn)行預(yù)訓(xùn)練引導(dǎo)，利用網(wǎng)絡(luò)參數(shù)共享提升學(xué)生模型的復(fù)雜性，最后使用交叉熵?fù)p失函數(shù)聯(lián)合軟、硬標(biāo)簽對(duì)學(xué)生模型進(jìn)行訓(xùn)練得到音頻模型和文本模型，然后將兩模型特征融合預(yù)測最后的質(zhì)檢情緒分類結(jié)果。