一種結合多頭自注意力機制的CNN文本分類方法

基本信息

申請?zhí)?/td> CN202010040278.7 申請日 -
公開（公告）號 CN111259666A 公開（公告）日 2020-06-09
申請公布號 CN111259666A 申請公布日 2020-06-09
分類號 G06F40/289(2020.01)I 分類 計算；推算；計數(shù);
發(fā)明人 劉星辰;陳曉峰;麻沁甜 申請（專利權）人 上海勃池信息技術有限公司
代理機構 上海領洋專利代理事務所（普通合伙） 代理人 上海勃池信息技術有限公司
地址 200000上海市嘉定區(qū)匯源路55號8幢5層517室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開一種結合多頭自注意力機制的CNN文本分類方法,包括：獲取待分類文本的分詞序列，并進行特殊符號和停止詞過濾等預處理；查詢預設或隨機初始化的詞嵌入模型獲取分詞序列的嵌入矩陣，矩陣的每一行為各分詞的嵌入向量；針對所得嵌入矩陣的各行向量，疊加該向量對應分詞的位置編碼向量；對疊加位置編碼后的嵌入矩陣通過自注意力機制生成自注意力矩陣；重復若干次自注意力矩陣的生成，將生成的多個矩陣在列的維度上進行拼接；將詞序列拼接后的自注意力矩陣與加權矩陣相乘，實現(xiàn)降維和融合；將降維和融合后的自注意力矩陣輸入CNN，進行訓練或者預測。??