● 摘要
基于图像的三维建模是虚拟现实、计算机图形学、计算机视觉、增强现实等领域及其交叉方向的研究热点,在设计制造、文化娱乐、电子商务、公共安全等行业具有重要的应用价值。
本论文重点围绕图像人体及服装等内容的三维建模,调研分析了相关国内外研究现状及其发展趋势,主要针对关键问题“在单幅输入图像及单幅参考图像的有限条件下,如何结合图像内容的轮廓和明暗等特征、及其有关几何先验,快速构建单幅图像人体及服装的三维模型”,深入开展了单幅图像人体及服装的三维建模与内容编辑方法研究。本论文主要创新点如下。
1、提出并实现了单幅图像人体服装的三维模型构建方法。该方法利用无着装人体三维变形模板,估计出图像人体的无着装三维模型;以无着装人体三维模型为指导,构建出图像服装区域的有向面,解析图像服装的二维轮廓,生成服装三维模型的初始几何结构;结合图像人体的无着装三维模型表面几何信息,利用变形算法,生成粗略的服装三维模型。在此基础上,利用本征图像分解算法,提取出单幅图像的明暗图,利用明暗恢复形状算法,估计出单幅图像服装的三维细节;通过带权重的拉普拉斯编辑算法,将估计出的服装三维细节,迁移到粗略服装三维模型,生成具有三维细节的服装模型。该方法仅需单幅输入图像,即可构建出图像人体服装的三维模型,并较好地保持了褶皱、皱纹等表面细节。
2、提出并实现了基于变形组合的单幅图像人体着装三维模型构建方法。该方法建立人体及着装三维模型的训练样本集,利用主成分分析算法,统计学习出训练样本的三种(姿势、体型、服装)变形映射函数,构建出参数化的人体着装三维变形模板;定义服装区域及其交界线,拓展人体着装三维变形模板的参数,根据交界线的位置属性变化,利用三维变形算法,对模板的服装区域进行变形处理,并且对模板的多个服装区域进行组合,形成人体着装的三维变形模板组合体。在此基础上,根据单幅图像人体及服装的轮廓、人体姿势估计结果,利用匹配变形算法,通过迭代优化,估计出人体着装三维变形模板及其组合体的参数值;根据参数值进行人体着装三维模型的变形处理,生成单幅图像人体的着装三维模型。类似的,该方法仅需单幅输入图像,即可估计出输入图像人体的着装三维模型。
3、给出并实现了三维模型驱动的单幅图像人体及服装内容编辑方法,主要包括:(1)给出并实现了无着装三维模型驱动的单幅图像人体姿势编辑算法,针对输入的单幅图像,参考模型库的一个人体三维姿势,利用无着装人体三维变形模板,结合刚性保持的图像变形算法,在输入图像上变形合成出与参考三维姿势近似的图像人体。(2)给出并实现了着装三维模型驱动的单幅图像人体服装迁移算法,仅需一幅输入图像和一幅参考图像,利用无着装人体三维变形模板、以及上述创新点1,以及仿射保持的变形迁移算法,即可将参考图像人体对应的着装三维模型,迁移到输入图像人体对应的无着装三维模型,编辑生成与参考图像人体着装三维模型类似的三维着装效果。(3)期间,设计并实现了一种单幅图像场景空洞填补算法。该算法检测空洞区域周围的显著结构,引入欧拉螺线原理,恢复出空洞区域的结构线,并利用信任传播算法,填补恢复出结构线上的纹理;在此基础上,利用多尺度全局采样算法,融合生成空洞区域缺失图像信息。该方法探索了以三维模型为驱动的图像场景内容编辑技术途径。