基于ViT的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)增強方法

基本信息

申請?zhí)?/td> CN202210174016.9 申請日 -
公開（公告）號 CN114548405A 公開（公告）日 2022-05-27
申請公布號 CN114548405A 申請公布日 2022-05-27
分類號 G06N3/08（2006.01）I;G06N3/04（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 吳均城;王華龍;楊海東;李澤輝;魏登明 申請（專利權(quán)）人 佛山市南海區(qū)廣工大數(shù)控裝備協(xié)同創(chuàng)新研究院
代理機構(gòu) 廣州科沃園專利代理有限公司 代理人 -
地址 528200廣東省佛山市南海高新區(qū)佛高科技智庫中心A座4樓
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種基于ViT的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)增強方法，S1、假定A是輸入的圖像，S2、TransMix在注意圖的指導(dǎo)下分配混合標(biāo)簽，S3、將原始的M從H、W轉(zhuǎn)換為相應(yīng)的像素區(qū)域，S4、數(shù)據(jù)集使用ImageNet?1k，S5、圖像分類模型選用DeiT?T、PVT?T、XCiT?T，S6、引入實現(xiàn)過程的pytorch偽代碼，本方法簡單易行且不會對模型引入任何額外參數(shù)，使訓(xùn)練的難度減小，本方法可以根據(jù)每個像素的顯著性重新加權(quán)，不需要額外的參數(shù)和最小的計算開銷；應(yīng)用的TransMix是基于ViTs的注意地圖混合標(biāo)簽，它可以彌補輸入空間和標(biāo)簽空間之間的差距。