一種基于多元屬性合成的視頻樣本生成方法

基本信息

申請?zhí)?/td> CN202210423708.2 申請日 -
公開（公告）號 CN114694081A 公開（公告）日 2022-07-01
申請公布號 CN114694081A 申請公布日 2022-07-01
分類號 G06V20/40（2022.01）I;G06F17/16（2006.01）I;G06K9/62（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06V10/774（2022.01）I;G06V10/82（2022.01）I 分類 計算；推算；計數(shù);
發(fā)明人 孫正興;駱守桐;孫蘊瀚;徐燁超 申請（專利權）人 南京大學
代理機構 江蘇圣典律師事務所 代理人 -
地址 210008江蘇省南京市鼓樓區(qū)漢口路22號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于多元屬性合成的視頻樣本生成方法，包括以下步驟：多元屬性模型構建：先根據預訓練的視頻編碼器和屬性分解網絡從視頻中分解出前景對象逐幀的多元靜態(tài)屬性和動態(tài)屬性，再根據一致性約束和平滑性約束分別對靜態(tài)屬性和動態(tài)屬性進行一致性和平滑性處理；最終通過向量拼接生成多元屬性模型；多元屬性嵌入空間生成：構建基于神經網絡的自編碼器，訓練自編碼器并生成多元屬性嵌入空間；多元屬性合成：從多元屬性嵌入空間中采樣，先利用訓練的解碼器生成各幀的多元屬性，再運用形狀合成和光照合成方法計算各幀目標對象三維幾何及其紋理，最后，渲染生成視頻樣本。重復多元屬性合成過程可得到由用戶指定的多個視頻樣本。