基于布局图的多物体场景新视角图像生成网络

新视角图像生成任务指通过多幅参考图像，生成场景新视角图像。然而多物体场景存在物体间遮挡，物体信息获取不全，导致生成的新视角场景图像存在伪影，错位问题。为解决该问题，本文提出一种借助场景布局图指导的新视角图像生成网络，并标注了全新的多物体场景数据集(Multi-Objects Novel View Synthesis，MONVS)。首先，将场景的多个布局图信息和对应的相机位姿信息输入到布局图预测模块，计算出新视角下的场景布局图信息；然后，利用场景中标注的物体边界框信息构建不同物体的对象集合，借助像素预测模块生成新视角场景下的各个物体信息；最后，将得到的新视角布局图和各个物体信息输入到场景生成器中构建新视角下的场景图像。在MONVS和ShapeNet Cars数据集上与最新的几种方法进行了比较，实验数据和可视化结果表明，在多物体场景的新视角图像生成中，本文方法在两个数据集上都有较好的效果表现，有效地解决了生成图像中存在伪影和多物体在场景中的位置信息不准确的问题。