在AR、VR、3D打印、場景搭建以及電影制作等多個(gè)領(lǐng)域中，高質(zhì)量的穿著衣服的人體3D模型非常重要。

傳統(tǒng)的方法創(chuàng)建這些模型不僅需要大量時(shí)間，還需要能夠捕捉多視角照片的專業(yè)設(shè)備，此外還依賴于技術(shù)熟練的專業(yè)人員。

與此相反，在日常生活中，我們最常見的是通過手機(jī)相機(jī)拍攝的或在各種網(wǎng)頁上找到的人像照片。

因此，一種能從單張圖像準(zhǔn)確重建3D人體模型的方法可以顯著降低成本，并簡化獨(dú)立創(chuàng)作的過程。

以往方法（左）與本文方法技術(shù)路線比較（右）

以往的深度學(xué)習(xí)模型用于3D人體重建，往往需要經(jīng)過三個(gè)步驟：從圖像中提取2D特征，將2D特征轉(zhuǎn)到3D空間，以及3D特征用于人體重建。

然而這些方法在2D特征轉(zhuǎn)換到3D空間的階段，往往忽略了人體先驗(yàn)的引入，導(dǎo)致特征的提取不夠充分，最終重建結(jié)果上會(huì)出現(xiàn)各種缺陷。

SIFU與其他SOTA模型重建效果比較

此外，在對(duì)紋理預(yù)測的階段，以往模型僅僅依靠訓(xùn)練集中學(xué)得的知識(shí)，缺少真實(shí)世界的先驗(yàn)知識(shí)，也往往導(dǎo)致不可見區(qū)域的紋理預(yù)測較差。

SIFU在紋理預(yù)測階段引入先驗(yàn)知識(shí)，增強(qiáng)不可見區(qū)域（背部等）的紋理效果。

對(duì)此，來自浙江大學(xué)ReLER實(shí)驗(yàn)室的研究人員提出SIFU模型，依靠側(cè)視圖條件隱函數(shù)從單張圖片重建3D人體模型。

圖片

論文地址：https://arxiv.org/abs/2312.06704

項(xiàng)目地址：https://github.com/River-Zhang/SIFU

該模型通過在2D特征轉(zhuǎn)換到3D空間引入人體側(cè)視圖作為先驗(yàn)條件，增強(qiáng)幾何重建效果。并在紋理優(yōu)化階段引入預(yù)訓(xùn)練的擴(kuò)散模型，來解決不可見區(qū)域紋理較差的問題。

模型結(jié)構(gòu)

模型pipeline如下：

圖片

該模型運(yùn)行可分為兩個(gè)階段，第一階段借助側(cè)隱式函數(shù)重建人體的幾何（mesh）與粗糙的紋理（coarse texture），第二階段則借助預(yù)訓(xùn)練的擴(kuò)散模型對(duì)紋理進(jìn)行精細(xì)化。

在第一階段中，作者設(shè)計(jì)了一種獨(dú)特的Side-view Decoupling Transformer，通過global encoder提取2D特征后，在decoder中引入了人體先驗(yàn)?zāi)Ｐ蚐MPL-X的側(cè)視圖作為query，從而在圖像2D特征中解耦出人體不同方向的3D特征（前后左右），最后用于重建。

該方法成功的在2D特征轉(zhuǎn)換到3D空間時(shí)結(jié)合人體先驗(yàn)知識(shí)，從而使得模型有更好的重建效果。

在第二階段，作者提出一種3D一致性紋理優(yōu)化流程（3D Consistent Texture Refinement），首先將人體不可見的區(qū)域（側(cè)面、背面）可微渲染成視角連續(xù)的圖片集，再借助在海量數(shù)據(jù)中學(xué)習(xí)到先驗(yàn)知識(shí)的擴(kuò)散模型，對(duì)粗糙紋理圖片進(jìn)行一致性編輯，得到更精細(xì)的結(jié)果。最后通過精細(xì)化前后的圖片計(jì)算損失來優(yōu)化3D模型的紋理貼圖。

實(shí)驗(yàn)部分

更高的重建精度

在實(shí)驗(yàn)部分，作者使用全面多樣化的測試集對(duì)他們的模型進(jìn)行測試，包括CAPE-NFP、CAPE-FP和THuman2.0，并與以往發(fā)表在各大頂會(huì)的單張圖片人體重建SOTA模型進(jìn)行比較。經(jīng)定量測試，SIFU模型在幾何重建與紋理重建中均表現(xiàn)出了最好的效果。

定量評(píng)估幾何重建精度

定量評(píng)估紋理重建效果

使用互聯(lián)網(wǎng)中公開圖片作為輸入進(jìn)行定性效果展示

更強(qiáng)的魯棒性

以往的模型應(yīng)用訓(xùn)練集以外的數(shù)據(jù)時(shí)，由于估計(jì)的人體先驗(yàn)?zāi)Ｐ蚐MPL/SMPL-X不夠準(zhǔn)確，往往導(dǎo)致重建結(jié)果與輸入圖片相差甚遠(yuǎn)，難以投入實(shí)際應(yīng)用。

對(duì)此，作者專門對(duì)模型的魯棒性進(jìn)行了測試，通過在ground truth先驗(yàn)?zāi)Ｐ蛥?shù)中加入擾動(dòng)使其位姿發(fā)生偏移，模擬真實(shí)場景中SMPL-X估計(jì)不準(zhǔn)確的情況，來評(píng)估模型重建的精度。結(jié)果表明SIFU模型在該情況下，依然具有最好的重建精度。

評(píng)估模型面對(duì)有誤差的人體先驗(yàn)?zāi)Ｐ蜁r(shí)的魯棒性

使用真實(shí)世界中的圖片，在先驗(yàn)人體模型估計(jì)不準(zhǔn)確的情況下，SIFU依然有較好的重建效果

更廣闊的應(yīng)用場景

SIFU模型的高精度高質(zhì)量重建效果，使得其具有豐富的應(yīng)用場景，包括3D打印、場景搭建、紋理編輯等。

3D打印SIFU重建的人體模型

SIFU用于3D場景搭建

借助公開動(dòng)作序列數(shù)據(jù)，可對(duì)SIFU重建的模型進(jìn)行驅(qū)動(dòng)

總結(jié)

本文提出側(cè)視圖條件隱式函數(shù)和3D一致性紋理編輯方法，彌補(bǔ)了以往工作在2D特征轉(zhuǎn)換到3D空間、紋理預(yù)測時(shí)對(duì)先驗(yàn)知識(shí)引入的不足，極大的提高了單張圖片人體重建的精度和效果，使模型在真實(shí)世界應(yīng)用中具有顯著的優(yōu)勢(shì)，也為該領(lǐng)域未來的研究提供了新的思路。

參考資料：

https://arxiv.org/abs/2312.06704