科研动态 | 城市三维创新团队:基于引导匹配损失的深度纹理合成方法
发布时间:2023-06-29
作者:光明实验室
浏览:5458次
光明实验室黄惠教授团队的研究工作Neural Texture Synthesis with Guided Correspondence(基于引导匹配损失的深度纹理合成方法)已发表在计算机视觉顶级会议IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2023上。
该工作针对基于样例的纹理合成任务,目标是在给定源纹理的情况下,合成出新的任意分辨率、保留源纹理重复模式的纹理图像。为实现这一目标,本工作提出了一种适用于深度网络的引导匹配损失,并应用到深度纹理优化方法中,通过简单的损失反向传播优化方式,即可实现高质量纹理扩展合成。如果引入额外的控制引导图,仅需在引导匹配损失中加入额外的距离度量,即可实现高质量的可控纹理合成。同时,该损失可作为通用纹理损失,用于训练前馈神经网络,实现实时纹理合成。
大量实验证明,基于引导匹配损失的纹理扩展合成结果局部清晰、结构完整、无重复感,效果超越现有纹理扩展合成方法。同时,在应对非均匀纹理合成或者基于标注图的纹理合成任务时,都可以合成符合引导控制、局部纹理结构保留完整的目标纹理图像,体现出该方法本身较强的可拓展性。
项目主页:
https://vcc.tech/research/2023/DeepTex