3D生成競技場來了！比拼360°環(huán)繞視頻，最強模型由你pick
3D生成也有自個兒的人工評測競技場了～
來自復(fù)旦大學(xué)和上海AI lab的研究人員搞了個3DGen-Arena，和大語言模型的Chatbot-Arena、GenAI-Arena等一脈相承，要讓大伙兒對3D生成模型來一場公開、匿名的評測。
3DGen-Arena同樣是讓兩個模型進(jìn)行比較，分文生3D、圖生3D兩個賽道。
展示形式上考慮到3D生成的復(fù)雜性，3DGen-Arena同時提供3D資產(chǎn)的法線圖、無紋理幾何圖和貼紋理RGB圖的360°環(huán)繞視頻。
第一步點擊“Sample”選擇prompt（共有1000+條），第二步點擊“Send”讓模型生成，第三步分別從幾何合理性、幾何精細(xì)度、紋理質(zhì)量、幾何-紋理一致性、文本/圖像-3D一致性這5個維度上對模型投票，投完票就能看到背后模型的真面目了。
目前場上已有19個開源3D生成模型，其中9個文生3D模型，13個圖生3D模型。
除匿名投票外，3DGen-Arena還支持參與者與指定模型進(jìn)行比較，以及與單個模型交互。
已開賽，來pick
近兩年，得益于Diffusion模型在2D領(lǐng)域取得的巨大成功，以及Objaverse系列大規(guī)模3D數(shù)據(jù)集的開源，3D物體生成領(lǐng)域已經(jīng)進(jìn)入迅速發(fā)展階段，3D生成模型數(shù)量激增。
然鵝，如何科學(xué)、公平地評價這些模型成為了領(lǐng)域內(nèi)公認(rèn)的難題。
目前已有的3D評測指標(biāo)大多沿用了2D領(lǐng)域的范式。其中，Clip系列模型表現(xiàn)出的強大圖文對齊能力使得基于Clip的方法尤為受歡迎，如Clip-Similarity、Clip R-Precision等。
但由于2D和3D領(lǐng)域間存在不容忽視的域差異（domain gap），這類不具備3D先驗知識的2D指標(biāo)，在實際應(yīng)用中，常常并不能滿足人們的需要。
例如，3D工作者們關(guān)心的幾何合理性、3D一致性、紋理偽影等等關(guān)鍵問題，2D指標(biāo)遠(yuǎn)遠(yuǎn)無法達(dá)到令人滿意表征水平。
于是，目前工作中更具可信度的評價大多來自于定性的用戶評價（user-study），但缺少一個統(tǒng)一、多樣的prompt集，使得不同模型間的user-study并不那么容易對齊。
最近，因大語言模型以及多模態(tài)大模型表現(xiàn)出的優(yōu)異性能，出現(xiàn)了一些基于大模型問答的3D評測體系。但此類依賴黑盒模型的評測系統(tǒng)，可能會引入一些潛在的系統(tǒng)性誤差，而且不具備好的可解釋性。
3D生成評測是一項不適定問題（ill-posed problem），需要綜合考慮幾何質(zhì)量、紋理質(zhì)量、以及與輸入信息的匹配程度。
自動化評測系統(tǒng)的探索面臨很多技術(shù)難題，但令人振奮的是，語言和圖像領(lǐng)域為我們提供了人工評測的新思路。
由此，來自復(fù)旦大學(xué)和上海AI lab的開發(fā)者推出了3DGen-Arena。
為實現(xiàn)多維度、全方位的評估，3DGen-Arena劃分出的5個獨立維度各有側(cè)重，互為補充：
“幾何合理性”是3D模型的基本要求，能夠衡量生成模型習(xí)得的3D先驗水平；
“幾何精細(xì)度”則是更高層次的要求，是提升生成質(zhì)量的關(guān)鍵方向；
“紋理質(zhì)量”直接影響生成的3D資產(chǎn)的視覺效果，視角一致、富有美學(xué)的紋理貼圖是紋理優(yōu)化的目標(biāo)；
“幾何-紋理一致性”在現(xiàn)實世界中，常常被忽略。但在生成過程中，我們發(fā)現(xiàn)保證一致的貼圖并不總是容易的；
“文本/圖像-3D一致性”是條件生成方式的內(nèi)在要求，實現(xiàn)跨模態(tài)精準(zhǔn)控制是不斷追求的目標(biāo)。
除了匿名模型投票外，3DGen-Arena還允許參與者指定模型進(jìn)行比較，以及與單個模型交互，滿足社區(qū)的多樣需求。
開發(fā)人員表示，考慮到部分文生3D模型漫長的訓(xùn)練時長，以及復(fù)雜的數(shù)據(jù)后處理，目前3DGen-Arena暫不支持開放式輸入的在線生成功能。
但他們精心設(shè)計了1k+條prompt，其中文生3D和圖生3D各500余條，是現(xiàn)有其他評測系統(tǒng)prompt集數(shù)量的10倍（~10x），涵蓋了“交通工具”、“動物”、“植物”、“食物”、“室內(nèi)物品”、“室外物品”等6大基礎(chǔ)類別。
為了觀察3D生成模型對prompt復(fù)雜程度的敏感程度，除了單個物體生成外，開發(fā)人員還設(shè)計了物體間的多種排列組合方式，以及一些帶有交互的“微場景”。
截至目前，3DGen-Arena平臺已經(jīng)內(nèi)嵌了1w+個3D資產(chǎn)，可以提供5.8w組不同的比較對。
開發(fā)人員還表示，之后將繼續(xù)維護和完善3DGen-Arena：增添更多的開源、甚至閉源模型；定期維護、更新排名榜；上線支持開放式輸入的在線生成服務(wù)……
3D生成為何需要一個科學(xué)、全面、魯棒的評價體系？這當(dāng)中益處不言而喻。
一方面， 通過質(zhì)量評測，深入理解現(xiàn)有生成模型的優(yōu)缺點，挖掘潛在的發(fā)展方向，進(jìn)而指導(dǎo)模型改進(jìn)和新算法的開發(fā)，不斷探索AIGC的能力邊界。
另一方面，多維度的3D質(zhì)量評測對實踐應(yīng)用有指導(dǎo)性作用， 便于針對不同的下游需求，把握關(guān)鍵維度，權(quán)衡次要維度。
話不多說了，從事3D生成的或者對3D生成任務(wù)感興趣的家人們，快去pick你喜歡的模型吧～
本文轉(zhuǎn)自 量子位 ，作者：量子位
