科技改變生活 · 科技引領(lǐng)未來
科技改變生活 · 科技引領(lǐng)未來
豐色發(fā)自凹非寺量子位報(bào)道|公眾號QbitAI很多3D人體模型都很強(qiáng)大，但總是難免“裸奔”。像要?jiǎng)?chuàng)造出真正的人類“化身”模型，衣服和頭發(fā)不可或缺。但這些元素的精確3D數(shù)據(jù)非常稀少，還很難獲得。來自三星AI中心（莫斯科）等團(tuán)隊(duì)的技術(shù)人員一直致力
豐色 發(fā)自 凹非寺量子位 報(bào)道 | 公眾號 QbitAI
很多3D人體模型都很強(qiáng)大，但總是難免“裸奔”。
像要?jiǎng)?chuàng)造出真正的人類“化身”模型，衣服和頭發(fā)不可或缺。
但這些元素的精確3D數(shù)據(jù)非常稀少，還很難獲得。
來自三星AI中心（莫斯科）等團(tuán)隊(duì)的技術(shù)人員一直致力于此方面的研究，最終他們開發(fā)出這樣一個(gè)模型：
生成的3D人，穿著原本的衣服、發(fā)量發(fā)型也都毫無保留地呈現(xiàn)。
乍一看，“跟真人似的”。
更棒的是，無需模特示范，模型還可以“舉一反三”，擺出各種POSE！
效果是這樣子的：
該模型被命名為StylePeople。
來看看具體怎么搞的吧！
神經(jīng)裝扮模型（The neural dressing model）
其實(shí)，不止是“裸奔”，很多三維人體模型還很“死板”：模特?cái)[什么姿勢模型就跟著擺什么。
就像此前，利用隱函數(shù)來生成的三維人體模型能夠高度還原模特的著裝和發(fā)型了，但是人物姿勢依然不夠變通，只能從原模特的幾個(gè)特定視角生成。
ps.也是該團(tuán)隊(duì)的研究成果
所以在為3D人體模型還原衣服顏色、褶皺和發(fā)型的同時(shí)，也要保證人物的姿勢可以“舉一反三”。
為此研究人員采用將多邊形實(shí)體網(wǎng)格建模與神經(jīng)紋理相結(jié)合的方法。
多邊形網(wǎng)格負(fù)責(zé)控制和建模粗糙的人體幾何姿勢，而神經(jīng)渲染負(fù)責(zé)添加衣服和頭發(fā)。
首先他們設(shè)計(jì)了一個(gè)神經(jīng)裝扮模型（The neural dressing model），該模型結(jié)合了可變形網(wǎng)格建模與神經(jīng)渲染，如下圖所示。
最左列表示被可視化的前三個(gè)PCA組件。
第2、3列為在用SMPL-X建模的人體網(wǎng)格上疊加“人型化身”的紋理（texture）。
第4、5列為使用渲染網(wǎng)絡(luò)光柵化渲染出的結(jié)果。
可以優(yōu)雅地處理出寬松的衣服和長頭發(fā)以及復(fù)雜的穿衣結(jié)構(gòu)！
接下來，基于上面的神經(jīng)裝扮模型，研究人員造出能生成“Fullbody”的3D人體模型。
最終的生成架構(gòu)是StyleGANv2和神經(jīng)裝扮的結(jié)合。
StyleGAN部分使用反向傳播算法生成神經(jīng)紋理，然后將其疊加在SMPL-X網(wǎng)格上，并使用神經(jīng)渲染器進(jìn)行渲染。
在對抗性學(xué)習(xí)中，判別器將每一對圖像看為同一個(gè)人。
提高了視頻和少量圖像生成3D人類模型的技術(shù)水平
在對神經(jīng)裝扮這一方法的效果驗(yàn)證中，研究人員首先評估了基于視頻素材的3D模型生成結(jié)果。
效果如文章開頭所展示的圖像，左邊是示例源幀，其余的圖像是左邊視頻人物的“化身”。在簡單的增強(qiáng)現(xiàn)實(shí)程序做的背景下，呈現(xiàn)出了模特先前并沒有擺過的各種姿勢。
接下來，對基于小樣本圖像素材的神經(jīng)裝扮效果進(jìn)行評估。
研究人員使用僅兩個(gè)人的People Snapshot數(shù)據(jù)集將他們的神經(jīng)裝扮方法與其他各種方法（如360Degree等，見表）進(jìn)行比較。
衡量生成的模型質(zhì)量的指標(biāo)包括LPIPS（感知相似度）、SSIM（結(jié)構(gòu)相似性）、FID（真實(shí)樣本與生成樣本在特征空間之間的距離）、和IS（清晰度與多樣性得分）。
結(jié)果顯示了他們的方法在所有指標(biāo)上都占有優(yōu)勢，
除了IS以外，但影響不大，因?yàn)樗c視覺質(zhì)量的相關(guān)性最小。
最后，該團(tuán)隊(duì)表示，他們這個(gè)模型的生成效果（如下圖）仍然受到目前樣本數(shù)據(jù)規(guī)模和質(zhì)量的限制，今后工作重點(diǎn)是提高該模型的數(shù)據(jù)利用率。
有興趣的同學(xué)可以持續(xù)關(guān)注該團(tuán)隊(duì)的研究進(jìn)展。
參考鏈接：
[1]https://arxiv.org/abs/2104.08363
— 完 —
量子位 QbitAI · 頭條號簽約
關(guān)注我們，第一時(shí)間獲知前沿科技動(dòng)態(tài)
丁龍