基于神經(jīng)網(wǎng)絡(luò)的實時光照估計與渲染方法及系統(tǒng)

基本信息

申請?zhí)?/td> CN202110639919.5 申請日 -
公開（公告）號 CN113096228B 公開（公告）日 2021-08-31
申請公布號 CN113096228B 申請公布日 2021-08-31
分類號 G06T15/10（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 徐迪;李臻;毛文濤;孫立 申請（專利權(quán)）人 上海影創(chuàng)信息科技有限公司
代理機構(gòu) 上海段和段律師事務(wù)所 代理人 李佳俊;郭國中
地址 200120上海市浦東新區(qū)自由貿(mào)易試驗區(qū)芳春路400號1幢301-462室
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種基于神經(jīng)網(wǎng)絡(luò)的實時光照估計與渲染系統(tǒng)，包括相機讀取模塊：用于端側(cè)設(shè)備的實時相機視頻流獲?。簧窠?jīng)網(wǎng)絡(luò)推理模塊：利用輕量級網(wǎng)絡(luò)用于生成光照估計的結(jié)果，利用球諧光波系數(shù)去渲染虛擬物體；虛擬物體加載模塊：用于加載三維虛擬物體，作為光照結(jié)果渲染的對象；球諧光波實時渲染與融合模塊：利用球諧光波系數(shù)去渲染虛擬物體用于實現(xiàn)跨平臺的渲染與融合。本發(fā)明通過采用輕量級神經(jīng)網(wǎng)絡(luò)，根據(jù)視頻序列幀計算出球諧光波系數(shù)，從而達成實時高效的光照估計；同時，通過采用虛實融合的渲染模塊，對三維虛擬物體進行實時渲染，并將其顯示于相機視頻流之前，從而實現(xiàn)了虛擬物體與真實背景的實時融合。