一種從示教視頻學(xué)習(xí)物體的可供性方法

基本信息

申請?zhí)?/td> CN202110242514.8 申請日 -
公開（公告）號 CN112949501A 公開（公告）日 2021-06-11
申請公布號 CN112949501A 申請公布日 2021-06-11
分類號 G06K9/00;G06K9/32;G06K9/62;G06N3/04;G06N3/08 分類 計算；推算；計數(shù);
發(fā)明人 黃煒;顏天信 申請（專利權(quán)）人 安徽省科億信息科技有限公司
代理機構(gòu) 合肥律眾知識產(chǎn)權(quán)代理有限公司 代理人 趙娟
地址 230000 安徽省合肥市黃山路602號國家大學(xué)科技園創(chuàng)業(yè)孵化中心
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種從示教視頻學(xué)習(xí)物體的可供性方法，該方法包括從示教視頻幀中檢測手部區(qū)域；搭建手部相關(guān)選擇網(wǎng)絡(luò)，并進行訓(xùn)練；利用訓(xùn)練好的手部相關(guān)選擇網(wǎng)絡(luò)提取上述手部檢測數(shù)據(jù)中人與物體發(fā)生交互的關(guān)鍵幀；將關(guān)鍵幀中人和物體交互相關(guān)區(qū)域遷移到靜態(tài)物體的圖像中，并通過蒸餾損失將靜態(tài)物體映射到人操作物體的狀態(tài)；得到可供性標(biāo)定網(wǎng)絡(luò)；用挑選出的關(guān)鍵幀訓(xùn)練網(wǎng)絡(luò)，優(yōu)化參數(shù)，得到訓(xùn)練后的可供性標(biāo)定網(wǎng)絡(luò)；將待識別物體的靜態(tài)物體的圖像以及可供性標(biāo)簽輸入到網(wǎng)絡(luò)中，輸出物體上能完成該相互作用的區(qū)域；本發(fā)明具有比較好的泛化能力，對于未見過的物體，能根據(jù)物體上某些局部特征學(xué)習(xí)到相關(guān)相互作用的區(qū)域。