一種基于適配器的遷移學習方法、裝置、設備及存儲介質

基本信息

申請?zhí)?/td> CN202111396195.2 申請日 -
公開（公告）號 CN114091452A 公開（公告）日 2022-02-25
申請公布號 CN114091452A 申請公布日 2022-02-25
分類號 G06F40/289（2020.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 王偉;黃勇其;于翠翠;張黔 申請（專利權）人 華潤數(shù)字科技有限公司
代理機構 深圳市世聯(lián)合知識產(chǎn)權代理有限公司 代理人 劉暢
地址 518000廣東省深圳市福田區(qū)梅林街道梅都社區(qū)中康路136號深圳新一代產(chǎn)業(yè)園2棟801
法律狀態(tài) -

摘要

摘要 本申請公開了一種基于適配器的遷移學習方法、裝置、設備及存儲介質，屬于人工智能技術領域。本申請基于全連接網(wǎng)絡和transformer模型的編碼器構建初始遷移學習模型，其中，初始遷移學習模型包括若干個適配器，然后通過預處理后的訓練樣本對初始遷移學習模型進行預訓練，并基于預訓練結果計算每一個適配器的沙普利值，對每一個適配器的沙普利值進行降序排列，得到適配器貢獻隊列，通過適配器貢獻隊列對初始遷移學習模型進行調(diào)整和迭代，得到自注意力遷移學習模型。本申請采用適配器來進行不同學習任務中的知識遷移，降低了訓練開銷。此外，本申請在訓練過程中根據(jù)每個適配器的沙普利值，對適配器的數(shù)量進行縮減，在遷移學習過程中進一步減少了訓練開銷。