一種基于骨骼和RGB幀融合的行為識(shí)別方法、裝置及系統(tǒng)

基本信息

申請?zhí)?/td> CN202110242365.5 申請日 -
公開（公告）號(hào) CN112906604A 公開（公告）日 2021-06-04
申請公布號(hào) CN112906604A 申請公布日 2021-06-04
分類號(hào) G06K9/00;G06K9/62;G06T17/00 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 黃煒;顏天信 申請（專利權(quán)）人 安徽省科億信息科技有限公司
代理機(jī)構(gòu) 合肥律眾知識(shí)產(chǎn)權(quán)代理有限公司 代理人 趙娟
地址 230000 安徽省合肥市黃山路602號(hào)國家大學(xué)科技園創(chuàng)業(yè)孵化中心
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于骨骼和RGB幀融合的行為識(shí)別方法、裝置及系統(tǒng)，該方法包括利用RGB相機(jī)獲取人體動(dòng)作的RGB視頻和深度相機(jī)獲取深度圖像和3D骨骼數(shù)據(jù)，建立行為識(shí)別數(shù)據(jù)集；將行為識(shí)別數(shù)據(jù)集進(jìn)行預(yù)處理；利用時(shí)空圖卷積神經(jīng)網(wǎng)絡(luò)ST?GCN提取骨骼數(shù)據(jù)特征，利用輕量級(jí)GhostNet提取RGB幀數(shù)據(jù)特征；搭建骨骼和RGB幀在特征層面交互的網(wǎng)絡(luò)；用訓(xùn)練集訓(xùn)練網(wǎng)絡(luò)，優(yōu)化參數(shù)，得到基于骨骼和RGB幀融合的行為識(shí)別網(wǎng)絡(luò)；將所要識(shí)別的人體動(dòng)作信息輸入到行為識(shí)別網(wǎng)絡(luò)進(jìn)行預(yù)測，輸出對應(yīng)的動(dòng)作類別。本發(fā)明提供了一種基于骨骼和RGB幀融合的行為識(shí)別方法，能夠充分挖掘骨骼和RGB幀的互補(bǔ)信息，以一種輕量化的方式進(jìn)一步提高了動(dòng)作識(shí)別的準(zhǔn)確率。