AI可以将您的狗的照片转换为VR头像

自从Facebook正式更名为Meta以来，已经过去了将近四年。创始人马克·扎克伯格承诺，一个完全实现的数字“Metaverse”指日可待。从那以后，用户对虚拟现实空间的采用已经停滞不前，扎克伯格本人似乎已经将注意力转向人工智能伴侣和播客播放雷朋斯。对许多人来说，简单地坐在家里的沙发上，身边有一只狗仍然比溜进虚拟现实更有吸引力。

但是如果你的毛茸茸的朋友能加入你呢？

韩国蔚山国家科学技术研究所的研究人员开发了一种人工智能系统，可能会使这成为可能。使用他们称之为DogRecon的系统，该团队能够拍摄一张狗的照片，并将其转换为可用于虚拟或增强现实应用的逼真3D数字模型。尽管它还没有完全准备好迎接黄金时段，但DogRecon独特的加权机制帮助它生成了更清晰、更逼真的渲染，与类似的人工智能模型相比，后者经常产生模糊、扭曲的图像，身体几何形状不准确。研究人员在《国际计算机视觉杂志》上分享了他们的发现。

视频展示了这些人工智能生成的3D狗如何出现在虚拟环境中的一些早期例子。在左边的画面中，一群小狗（包括一只穿着绿色狗靴的柴犬）慢慢地穿过后院花园。在右边，可以看到两只狗在客厅里走来走去。一旦3D狗的化身生成，研究人员就可以使用简单的文本提示来控制它们。

第一作者Gyeongsu Cho在发给Tech Xplore的一份声明中表示：“由于超过四分之一的家庭拥有宠物，将传统上专注于人类的3D重建技术扩展到伴侣动物一直是一个目标。”“DogRecon提供了一种工具，任何人都可以创建和动画他们伴侣动物的数字版本。”

研究人员没有立即回应《大众科学》的置评请求。

[相关：一个毛茸茸的羚羊机器人正在密切关注它的有机表亲。]

将2D照片转换为3D头像

尽管近年来在改善虚拟空间中人类化身的真实感方面取得了实质性进展，但对我们毛茸茸的同伴的关注却少得多。根据该团队的说法，其中一个原因是宠物（尤其是狗）在解剖学上比我们更复杂。狗有数百个品种，每个品种都有不同的形状、大小和独特的身体特征。Fido的四条腿站姿也导致关节咬合比人类更频繁，使得精确的3D建模更加困难。

所有这些额外的变量为模型在数字空间中生成狗时产生错误创造了更多的机会。然而，研究人员认为，虚拟现实中缺乏适当建模的宠物限制了任何所谓的“元宇宙”的整体可信度

研究人员写道：“毫无疑问，人类特有的方法很重要，但人类只是实际生物多样性的一小部分。”

该团队试图应对这些挑战，首先使用特定品种的统计人工智能模型来捕捉体型和姿势的变化。然后，他们使用第二个生成式人工智能模型来创建多视图图像，这些图像在几何上与狗的体型保持一致。通过结合这两个步骤，系统可以拍摄狗的单个图像（在这种情况下，是从互联网上提取的真实图像），并允许人工智能模型从本质上预测狗从不同角度的外观和移动方式。

不过，并非所有人工智能的预测都准确地反映了狗应该是什么样子。为了解决这个问题，研究人员对他们的模型应用了加权机制，优先考虑看起来更真实的输出，并过滤掉那些在生成不佳的人工智能图像中常见的扭曲或其他异常视觉的输出。在这种情况下，加权有助于为人工智能输出设置参数，以引导其达到预期的结果。当他们将DogRecon与其他能够从图像生成视频的人工智能模型进行比较时，他们发现他们的系统始终产生更准确的解剖学结果。

这并不是说结果是完美的。DogRecon创建的3D模型通常类似于它们想要代表的狗品种，但是在虚拟现实和虚拟现实设置中显示的几个例子中，它们仍然看起来有些脱节，视觉上不和谐。 它们的动作不像边境牧羊犬那样轻松敏捷，更像南方公园早期一集的僵硬动画。

尽管如此，尽管看起来很初级，研究人员表示，这样的工具可能会受到VR用户的欢迎，他们希望带着他们的小狗一起进行下一次数字冒险。至于真正的狗——它们仍然在沙发上闲逛。