一種基于多頭自注意力機制的動態(tài)元嵌入方法
基本信息
| 申請?zhí)?/td> | CN202010367701.4 | 申請日 | - |
| 公開（公告）號 | CN111581351A | 公開（公告）日 | 2020-08-25 |
| 申請公布號 | CN111581351A | 申請公布日 | 2020-08-25 |
| 分類號 | G06F16/33(2019.01)I | 分類 | - |
| 發(fā)明人 | 王春輝;胡勇 | 申請（專利權）人 | 識因智能科技（北京）有限公司 |
| 代理機構(gòu) | 北京中北知識產(chǎn)權代理有限公司 | 代理人 | 識因智能科技（北京）有限公司 |
| 地址 | 102600北京市大興區(qū)宏福路8號1層133室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開一種基于多頭自注意力機制的動態(tài)元嵌入方法。所述方法包括：將輸入句子中的每個詞表示為詞向量序列，將每個詞向量映射到同一維度，基于多頭自注意力機制計算嵌入矩陣，得到元嵌入表示的詞向量矩陣。本發(fā)明利用多頭自注意力機制進行多次計算，解決了現(xiàn)有DME、CDME動態(tài)元嵌入方法使用句子級別的自注意力確定不同嵌入集的權重，其中自注意力方法著重于學習各個詞向量線性回歸的參數(shù)，缺乏多角度的綜合考慮，容易造成元嵌入權重的學習不充分的問題。?? |
