本文經(jīng)AIGC Studio公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

Stability AI 聯(lián)合 UIUC 提出一種簡(jiǎn)單而有效的單視圖 3D 重建方法 SPAR3D，這是一款最先進(jìn)的 3D 重建器，可以從單視圖圖像重建高質(zhì)量的 3D 網(wǎng)格。SPAR3D 的重建速度很快，只需 0.7 秒，并支持交互式用戶編輯。

unsetunset相關(guān)鏈接unsetunset

• 論文：http://arxiv.org/abs/2501.04689v1
• 主頁：https://spar3d.github.io
• 代碼：https://github.com/Stability-AI/stable-point-aware-3d

unsetunset論文介紹unsetunset

我們研究單圖像 3D 物體重建問題。最近的研究分為兩個(gè)方向：基于回歸的建模和生成建模?；貧w方法可以有效地推斷可見表面，但在處理遮擋區(qū)域時(shí)會(huì)遇到困難。生成方法通過建模分布可以更好地處理不確定區(qū)域，但計(jì)算成本高，并且生成通常與可見表面不一致。在本文中，我們提出了 SPAR3D，這是一種新穎的兩階段方法，旨在兼顧兩個(gè)方向的優(yōu)點(diǎn)。

SPAR3D 的第一階段使用輕量級(jí)點(diǎn)擴(kuò)散模型生成稀疏 3D 點(diǎn)云，該模型具有快速的采樣速度。第二階段使用采樣點(diǎn)云和輸入圖像來創(chuàng)建高度詳細(xì)的網(wǎng)格。我們的兩階段設(shè)計(jì)能夠?qū)Σ贿m定的單圖像 3D 任務(wù)進(jìn)行概率建模，同時(shí)保持高計(jì)算效率和出色的輸出保真度。使用點(diǎn)云作為中間表示進(jìn)一步允許交互式用戶編輯。經(jīng)過在不同數(shù)據(jù)集上的評(píng)估，SPAR3D 表現(xiàn)出比以前最先進(jìn)的方法更優(yōu)異的性能，推理速度為 0.7 秒。

unsetunset方法unsetunset

SPAR3D 概述。 根據(jù)輸入圖像，SPAR3D 首先利用點(diǎn)擴(kuò)散模型生成稀疏點(diǎn)云。然后，三平面變換器使用采樣點(diǎn)云和圖像特征來生成高分辨率三平面特征。然后查詢?nèi)矫嫣卣饕灾亟▓D像中對(duì)象的幾何形狀、紋理和照明。

可微分渲染器概述。 我們從三平面估計(jì)幾何、反照率、照明和法線貼圖，并從圖像中估計(jì)金屬/粗糙度值。我們將這些值柵格化并插值作為著色器的輸入（此處為簡(jiǎn)單起見省略）。我們的著色器使用 Disney BRDF并執(zhí)行蒙特卡洛積分。我們進(jìn)一步執(zhí)行可見性測(cè)試以改進(jìn)陰影建模。最后，我們將渲染圖像與 GT 圖像進(jìn)行比較，并盡量減少渲染損失。

陰影建模。 我們通過沿采樣光線行進(jìn)在屏幕空間中執(zhí)行可見性測(cè)試。如果光線上的任何點(diǎn)的光線深度比深度圖更遠(yuǎn)，我們將整個(gè)光線視為陰影。

unsetunset結(jié)果unsetunset

定性比較

更多結(jié)果

unsetunset結(jié)論unsetunset

SPAR3D是一種簡(jiǎn)單而有效的單視圖 3D 重建方法。模型的核心是基于點(diǎn)采樣的兩階段設(shè)計(jì)。首先通過點(diǎn)擴(kuò)散生成稀疏點(diǎn)云，然后從點(diǎn)云和圖像重建高度詳細(xì)的網(wǎng)格。這種設(shè)計(jì)能夠充分利用基于回歸和生成建模的優(yōu)勢(shì)。根據(jù)標(biāo)準(zhǔn)基準(zhǔn)和野外圖像進(jìn)行評(píng)估，SPAR3D 的表現(xiàn)明顯優(yōu)于之前最先進(jìn)的方法，推理速度快。