語言模型預(yù)訓(xùn)練方法
基本信息
| 申請?zhí)?/td> | CN201910268322.7 | 申請日 | - |
| 公開（公告）號 | CN110032644A | 公開（公告）日 | 2019-07-19 |
| 申請公布號 | CN110032644A | 申請公布日 | 2019-07-19 |
| 分類號 | G06F16/35;G06F17/27 | 分類 | 計算；推算；計數(shù); |
| 發(fā)明人 | 陳瑤文 | 申請（專利權(quán)）人 | 人立方智能科技有限公司 |
| 代理機(jī)構(gòu) | 北京挺立專利事務(wù)所（普通合伙） | 代理人 | 人立方智能科技有限公司 |
| 地址 | 200000 上海市浦東新區(qū)中國(上海)自由貿(mào)易試驗區(qū)金湘路225弄11號1635室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開了一種語言模型預(yù)訓(xùn)練方法，其包括如下步驟：對模型中的語料按字、子詞進(jìn)行分詞；對生成的各分詞隨即抽取15％進(jìn)行位置掩蓋、并計算掩蓋后的語義分布；以獨(dú)立的門控制單元對模型中的子詞混合進(jìn)行控制；對語義分布和掩蓋詞的預(yù)測進(jìn)行同步訓(xùn)練。本發(fā)明能夠明顯改善BERT預(yù)訓(xùn)練后模型的預(yù)測結(jié)果。 |
