基于無監(jiān)督對話預(yù)訓(xùn)練的對話理解與答案配置方法及系統(tǒng)

基本信息

申請?zhí)?/td> CN202110595442.5 申請日 -
公開（公告）號 CN113032545B 公開（公告）日 2021-09-03
申請公布號 CN113032545B 申請公布日 2021-09-03
分類號 G06F16/332;G06F16/33;G06F40/126;G06F40/284;G06N3/04;G06N3/08 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 張振羽;江嶺;黃鵬 申請（專利權(quán)）人 成都曉多科技有限公司
代理機(jī)構(gòu) 成都睿道專利代理事務(wù)所（普通合伙） 代理人 薛波
地址 610000 四川省成都市天府新區(qū)興隆街道湖畔路西段123號
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了基于無監(jiān)督對話預(yù)訓(xùn)練的對話理解與答案配置方法，包括進(jìn)行對話相關(guān)的對話信息預(yù)處理，構(gòu)建具有對話內(nèi)容、角色信息及輪次信息的對話輸入樣本，將對話輸入的信息進(jìn)行詞嵌入；將帶有對話文本單詞信息、位置信息、角色信息以及輪次信息的詞嵌入輸出結(jié)果相加作為對話預(yù)訓(xùn)練語言模型encoder的輸入；對模型encoder輸出的編碼向量進(jìn)行基于BiLSTM?CNN的池化處理獲得對話表征向量；利用對話級別的句子掩碼建模、單詞整體掩碼建模和基于回復(fù)生成的對話級別對比學(xué)習(xí)建模任意組合生成的預(yù)訓(xùn)練學(xué)習(xí)任務(wù)，對模型進(jìn)行優(yōu)化。本發(fā)明可有效解決多輪對話意圖識別，且通過生成回復(fù)答案的方法能夠提高答案的配置效率。