一種基于預(yù)訓(xùn)練語言模型的多任務(wù)學(xué)習(xí)閱讀理解方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN202010365779.2 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN111581350A | 公開（公告）日 | 2020-08-25 |
| 申請(qǐng)公布號(hào) | CN111581350A | 申請(qǐng)公布日 | 2020-08-25 |
| 分類號(hào) | G06F16/33(2019.01)I | 分類 | - |
| 發(fā)明人 | 王春輝;胡勇 | 申請(qǐng)（專利權(quán)）人 | 識(shí)因智能科技（北京）有限公司 |
| 代理機(jī)構(gòu) | 北京中北知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人 | 識(shí)因智能科技（北京）有限公司 |
| 地址 | 102600北京市大興區(qū)宏福路8號(hào)1層133室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開一種基于預(yù)訓(xùn)練語言模型的多任務(wù)學(xué)習(xí)閱讀理解方法。所述方法包括：基于語料庫進(jìn)行訓(xùn)練建立預(yù)訓(xùn)練語言模型，利用所述預(yù)訓(xùn)練語言模型獲得輸入文檔和問題的上下文感知表示；通過設(shè)置由注意力網(wǎng)絡(luò)構(gòu)成的交互層融合問題與文檔之間的語義信息，得到每一個(gè)詞的向量表示；進(jìn)行基于問題是否可答預(yù)測任務(wù)和答案獲取任務(wù)的多任務(wù)學(xué)習(xí)，得到問題是否可答的結(jié)果及問題答案。本發(fā)明通過建立預(yù)訓(xùn)練語言模型，能夠獲得句對(duì)之間的蘊(yùn)含關(guān)系；通過設(shè)置交互層能夠充分融合問題與文檔之間的語義信息，使模型具有較好的表達(dá)能力；通過進(jìn)行多任務(wù)學(xué)習(xí)，能夠自適應(yīng)地預(yù)測問題是否可答，并獲取問題的答案。?? |
