一種基于距離相關(guān)系數(shù)的注意力機(jī)制模型

基本信息

申請(qǐng)?zhí)?/td> CN202210260630.7 申請(qǐng)日 -
公開（公告）號(hào) CN114611397A 公開（公告）日 2022-06-10
申請(qǐng)公布號(hào) CN114611397A 申請(qǐng)公布日 2022-06-10
分類號(hào) G06F30/27（2020.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 胡祥 申請(qǐng)（專利權(quán)）人 上海師范大學(xué)
代理機(jī)構(gòu) 北京同輝知識(shí)產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 -
地址 200233上海市徐匯區(qū)桂林路100號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了注意力機(jī)制建構(gòu)技術(shù)領(lǐng)域中一種基于距離相關(guān)系數(shù)的注意力機(jī)制模型，注意力機(jī)制模型結(jié)構(gòu)采用Seq2Seq結(jié)構(gòu)，所述注意力機(jī)制模型結(jié)構(gòu)由輸入層、Encoder層、DC_Attention層、Decoder層、線性層和輸出層組成。本發(fā)明采用距離相關(guān)系數(shù)作為注意力機(jī)制的評(píng)價(jià)函數(shù)，能夠很好的評(píng)估兩向量之間的線性相關(guān)性和非線性關(guān)系，記為dcor（X，Y），當(dāng)dcor（X，Y）＝0，說(shuō)明X和Y相互獨(dú)立，dcor（X，Y）越大，說(shuō)明X和Y之間的相關(guān)性越高。