AI想象力恐怖如斯:看一眼人体局部,就能脑补5种全身姿势

2022-06-23 10:13:01

金融支付

当AI拥有“想象力”是一种什么样的体验?

像左上角这样,只给出一个凳子的椅座部分,AI就很快就脑补出了一张完整的三维椅子模型:

类似的,当面对经典的“用PS让大象转身”的甲方需求,我们拿到了这样一张汽车屁股的照片:

AI也可以根据已有的局部信息,迅速推断出缺失部分,并最终建模得到一个3D汽车模型。

这项研究成果来自深圳大学黄慧教授带领的研究团队,其论文最近刚刚被计算机视觉领域的顶级会议CVPR2022接收,论文的第一作者为深圳大学视觉计算中心的研究助理闫星光。

接下来,就来一起看看一张局部照片是如何一步一步变为整体建模的。

一个完整的三维建模的形状通常是通过相机探测和表面取样获得的,而局部照片就意味着只能从物体的可见部分获得信息,导致了不同的采样密度和缺失。

那么这时,就要通过观察已有数据中的非局部的提示,使用各种形式的先验知识推断出缺失部分。

于是,作者首先提出了一种矢量量化(VectorQuantization)的深度隐式函数(DeepImplicitFunction),VQDIF。

这是一种三维表示方法,可以将表面形状洗漱地编码为离散的二元组序列,每个序列代表一个局部特征的位置和内容,也就是这样一个过程:

其次,作者提出了一个基于Transformer的自回归模型,ShapeFormer,基于上一步中生成的二元组序列,顺序地预测出完整序列的分布。

这里的Transformer是2014年的一个模型,能够利用注意力机制(Attention)来提高模型训练速度,最初一经推出就在自然语言理解领域(NLP)取得了突破性进展,近几年也有不少将其应用在计算机视觉领域(CV)的跨界研究。

而通过对上一步所预测出的分布进行抽样,可以得到不同的预测结果。

除了像桌椅这种平面形状,AI也在训练中学会了对称性、空心、填充等不少技能,因此也可以生成像是茶壶或水壶这样的三维模型。

作者也在论文中表示,比起已有的许多三维图像生成方法,ShapeFormer产生的结果可以保留更多的原图细节。

同时,这种AI的“想象力”也极为丰富,比如面对人类这样一个姿势具有极大不确定性的生成目标,作者从完整的模型中随机选择一小部分,而AI在保持观察到身体部位的姿势的前提下,还生成了多种可能的姿势。

采写:南都见习记者杨博雯

上一篇:

下一篇:

关于我们

中山信息社是领先的新闻资讯平台,汇集美食文化、商旅生涯、国际资讯、房产家居、教育科研、综艺娱乐、等多方面权威信息

版权信息

中山信息社版权所有,未经允许不可复制本站镜像,本站文章来源于网络,如有侵权请邮件举报!