3D生成竞技场来了！比拼360°环绕视频，最强模型由你pick 关注前沿科技 量子位 2024-05-28 12:29 北京

3D生成也有自个儿的人工评测竞技场了～

来自复旦大学和上海AI lab的研究人员搞了个3DGen-Arena，和大语言模型的Chatbot-Arena、GenAI-Arena等一脉相承，要让大伙儿对3D生成模型来一场公开、匿名的评测。

3DGen-Arena同样是让两个模型进行比较，分文生3D、图生3D两个赛道。

展示形式上考虑到3D生成的复杂性，3DGen-Arena同时提供3D资产的法线图、无纹理几何图和贴纹理RGB图的360°环绕视频。

投票方式很简单，请看VCR：

00:19

第一步点击“Sample”选择prompt（共有1000+条），第二步点击“Send”让模型生成，第三步分别从几何合理性、几何精细度、纹理质量、几何-纹理一致性、文本/图像-3D一致性这5个维度上对模型投票，投完票就能看到背后模型的真面目了。

目前场上已有19个开源3D生成模型，其中9个文生3D模型，13个图生3D模型。

除匿名投票外，3DGen-Arena还支持参与者与指定模型进行比较，以及与单个模型交互。

已开赛，来pick

近两年，得益于Diffusion模型在2D领域取得的巨大成功，以及Objaverse系列大规模3D数据集的开源，3D物体生成领域已经进入迅速发展阶段，3D生成模型数量激增。

然鹅，如何科学、公平地评价这些模型成为了领域内公认的难题。

目前已有的3D评测指标大多沿用了2D领域的范式。其中，Clip系列模型表现出的强大图文对齐能力使得基于Clip的方法尤为受欢迎，如Clip-Similarity、Clip R-Precision等。

但由于2D和3D领域间存在不容忽视的域差异（domain gap），这类不具备3D先验知识的2D指标，在实际应用中，常常并不能满足人们的需要。

例如，3D工作者们关心的几何合理性、3D一致性、纹理伪影等等关键问题，2D指标远远无法达到令人满意表征水平。

于是，目前工作中更具可信度的评价大多来自于定性的用户评价（user-study），但缺少一个统一、多样的prompt集，使得不同模型间的user-study并不那么容易对齐。

最近，因大语言模型以及多模态大模型表现出的优异性能，出现了一些基于大模型问答的3D评测体系。但此类依赖黑盒模型的评测系统，可能会引入一些潜在的系统性误差，而且不具备好的可解释性。

3D生成评测是一项不适定问题（ill-posed problem），需要综合考虑几何质量、纹理质量、以及与输入信息的匹配程度。

自动化评测系统的探索面临很多技术难题，但令人振奋的是，语言和图像领域为我们提供了人工评测的新思路。

由此，来自复旦大学和上海AI lab的开发者推出了3DGen-Arena。

为实现多维度、全方位的评估，3DGen-Arena划分出的5个独立维度各有侧重，互为补充：

“几何合理性”是3D模型的基本要求，能够衡量生成模型习得的3D先验水平；

“几何精细度”则是更高层次的要求，是提升生成质量的关键方向；

“纹理质量”直接影响生成的3D资产的视觉效果，视角一致、富有美学的纹理贴图是纹理优化的目标；

“几何-纹理一致性”在现实世界中，常常被忽略。但在生成过程中，我们发现保证一致的贴图并不总是容易的；

“文本/图像-3D一致性”是条件生成方式的内在要求，实现跨模态精准控制是不断追求的目标。

除了匿名模型投票外，3DGen-Arena还允许参与者指定模型进行比较，以及与单个模型交互，满足社区的多样需求。

开发人员表示，考虑到部分文生3D模型漫长的训练时长，以及复杂的数据后处理，目前3DGen-Arena暂不支持开放式输入的在线生成功能。

但他们精心设计了1k+条prompt，其中文生3D和图生3D各500余条，是现有其他评测系统prompt集数量的10倍（~10x），涵盖了“交通工具”、“动物”、“植物”、“食物”、“室内物品”、“室外物品”等6大基础类别。

为了观察3D生成模型对prompt复杂程度的敏感程度，除了单个物体生成外，开发人员还设计了物体间的多种排列组合方式，以及一些带有交互的“微场景”。

截至目前，3DGen-Arena平台已经内嵌了1w+个3D资产，可以提供5.8w组不同的比较对。

开发人员还表示，之后将继续维护和完善3DGen-Arena：增添更多的开源、甚至闭源模型；定期维护、更新排名榜；上线支持开放式输入的在线生成服务……

3D生成为何需要一个科学、全面、鲁棒的评价体系？这当中益处不言而喻。

一方面， 通过质量评测，深入理解现有生成模型的优缺点，挖掘潜在的发展方向，进而指导模型改进和新算法的开发，不断探索AIGC的能力边界。

另一方面，多维度的3D质量评测对实践应用有指导性作用， 便于针对不同的下游需求，把握关键维度，权衡次要维度。

话不多说了，从事3D生成的或者对3D生成任务感兴趣的家人们，快去pick你喜欢的模型吧～

https://huggingface.co/spaces/ZhangYuhan/3DGen-Arena

文章来源于：微信公众号量子位，作者：3DGen