利用多视角图片重建3D模型!复旦大数据学院提出基于多视角和形变网络的3D mesh重建模型

发布者:刘铁江发布时间:2022-07-07浏览次数:2420

近年来,3D mesh的重建是3D领域研究的一个重要课题。通过强大的深度学习,很多工作能够仅通过一张RGB图片生成3D mesh。然而单个视角的输入所带来的视觉线索有限。基于单个图像的方法通常会产生粗糙的几何图形,并且无法泛化到其他的领域,例如跨类别的领域。而多视角的图片能够提供更可靠的几何信息和先验。复旦大学大数据学院提出“形变”网络(Multi-View Deformation Network, MDN)在经典方法Pixel2Mesh和Deep Implicit Surface Network的初始化基础上解决了这个问题,能够获得更好的多视角3D mesh重建效果。

图片

通过少量的多视角2D图片(3个视角),重建3D网格模型(mesh),是一个3D重建领域重要且困难的课题.

图片

本文所提出的多视角重建算法.可以从任意角度的3张多视角图片重建出3D网格模型.与单视角算法相比(Pixel2Mesh)多视角生成结果能够更好地解决其他视角的二义性问题.


2022年4月13日(美国时间),相关研究成果以《Pixel2mesh++:基于形变的多视角3D Mesh生成》(“Pixel2Mesh++: Multi-View 3D Mesh Generation via Deformation”)为题被全球人工智能领域顶尖期刊《IEEE模式分析与机器智能汇刊》(IEEE Transactions on Pattern Analysis and Machine Intelligence,简称TPAMI)接受。该成果为多视角3D Mesh生成提供了全新的研究思路。IEEE TPAMI是计算机视觉、模式识别与人工智能领域最顶尖的SCI期刊,2021年影响因子为16.389,是中国计算机协会(CCF)评选出的为数不多的人工智能领域A类期刊之一。此前该工作还被全球人工智能领域顶级会议《国际计算机视觉大会》(IEEE International Conference on Computer Vision ICCV2019)收录。

本文不同于直接通过将图片映射到3D形状的方法,创新提出去预测一系列的形变程度,在原始的3D mesh生成结果基础上进行结果的改善。受传统多视图几何方法的启发,本文的网络对初始网格顶点位置附近的区域进行采样,并使用从多个输入图像的感知特征统计信息来推断最佳变形。此外,本文所提出的模型能够泛化到不同的基础3D mesh生成模型,例如Pixel2Mesh和基于隐函数的DISN。本文还进一步提出使用可微分渲染的方式,利用实际图片来逐步改善生成mesh的效果。为了使得多视角图片的输入到3D mesh可以直接端到端完成,本文还能够预测出相机的位姿。具体流程,形变采样和图像特征聚合的过程见下图

生成模型流程图.模型由特征抽取网络,粗略形状生成网络,多视角形变网络3者构成

作者简介


闻超,复旦大学大数据学院2021级硕士毕业生,硕士导师付彦伟博士。现任职于字节跳动。2014年至2018年在电子科技大学计算机科学专业攻读工学学士学位。研究方向是3D重建和人体图像合成。


曹辰捷,复旦大学大数据学院2020级博士研究生,博士导师付彦伟博士。2016年至2019年在华东理工大学计算机科学专业攻读学术硕士学位,2012年至2016年在华东理工大学计算机科学专业攻读工学学士学位。研究方向是图像生成,3D重建和计算机视觉。


其他主要合作者信息:

付彦伟老师:

http://yanweifu.github.io

张寅达老师:

https://www.zhangyinda.com

Zhuwen Li老师:

https://scholar.google. com.sg/citations?user=gIBLutQAAAAJ

薛向阳老师:

https://faculty.fudan.edu.cn/xyxue/zh_CN/more/436211/jsjjgd/index.htm


论文发表

[1] Wen, Chao, et al. Pixel2mesh++: Multi-view 3d mesh generation via deformation. Proceedings of the IEEE/CVF international conference on computer vision. 2019.