一種優(yōu)化BERT的問題語義匹配方法

基本信息

申請(qǐng)?zhí)?/td> CN202111442232.9 申請(qǐng)日 -
公開（公告）號(hào) CN114218921A 公開（公告）日 2022-03-22
申請(qǐng)公布號(hào) CN114218921A 申請(qǐng)公布日 2022-03-22
分類號(hào) G06F40/211（2020.01）I;G06F40/30（2020.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06K9/62（2022.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 高東平;秦奕;楊淵;李玲;池慧 申請(qǐng)（專利權(quán)）人 中國(guó)醫(yī)學(xué)科學(xué)院醫(yī)學(xué)信息研究所
代理機(jī)構(gòu) 北京正陽(yáng)理工知識(shí)產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 張利萍
地址 100020北京市朝陽(yáng)區(qū)雅寶路3號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于Bert的語義匹配方法,該方法基于哈工大的預(yù)訓(xùn)練模型Bert?wwm?ext,我們先使用該模型在我們的大數(shù)據(jù)背景下做全詞遮罩的無監(jiān)督訓(xùn)練,使得模型先適應(yīng)下我們的數(shù)據(jù)特點(diǎn),保存基于我們數(shù)據(jù)的模型后,我們?cè)谠撃Ｐ偷慕Y(jié)構(gòu)上做了以下調(diào)整,在Bert的輸出層加上Pooling層,在句子輸入的時(shí)候,每個(gè)Batch我們輸入的是一組特定的句子,其中一部分句子是語義相近的,剩下的句子是語義不同的,這樣做是考慮到使得模型像人學(xué)習(xí)時(shí)一樣,考慮數(shù)據(jù)之間的對(duì)比學(xué)習(xí),使得模型更快收斂,模型架構(gòu)改造完成后,我們基于該模型,再次在我們的大語料背景下做句子語義相似性訓(xùn)練,在訓(xùn)練的過程中,我們加入了同義句和非同義句之間的對(duì)比計(jì)算,然后使模型反向傳播,最終得到的句向量語義表示更貼合實(shí)際。