● 摘要
近年来，计算机图形学、计算机视觉、多媒体及相关领域技术正呈现逐渐融合的趋势，这使得三维视频、自由视点视频等高级视觉媒体系统得到了迅速发展，极大地拓展了传统二维视频的用户体验。三维视频由于能提供高质量的视频并给人以身临其境的感受正越来越受欢迎。自由视点视频是一种最新的三维视频形式，它允许用户交互式地选择观看视角并能动态地合成新视点。然而将每个视点的视频都进行传输会带来极大的数据量，因而需要在用户端采用视点合成技术。基于深度图的虚拟视点绘制技术由于只需要较低的带宽就能合成任意视点的图像已成为主流方法。但是，如何获取高质量的深度图是一个难题，这主要通过立体匹配技术实现。本论文主要针对自由视点视频中的立体匹配和基于深度图的虚拟视点绘制两项关键技术开展研究，主要研究成果包括以下几个方面：
1、深入研究了立体匹配的理论基础，根据双目立体视觉几何模型，推导了视差与深度的关系，并进一步分析了立体匹配中存在的问题和难点，指明了本文主要的研究方向。同时，系统阐述了立体匹配算法的通用框架和具体实现原理，并以此为基础对现有方法进行了简要综述；
2、提出并实现了一种新的局部立体匹配算法。首先，在传统Census变换中设置噪声容限及采用交叉形状的变换窗口，提高了可靠性。同时结合色彩亮度和梯度构造了一种混和匹配代价；然后，利用引导图滤波器对代价空间进行滤波，快速有效地完成代价聚合；在视差选择阶段，结合了全局算法的思想，设计了一种改进动态规划算法，消除了扫面线效应；最后，经过视差后处理得到最终的视差图。
3、研究了基于深度图的虚拟视点绘制（DIBR）技术原理，针对传统方法中存在的空洞和伪影问题，设计了一种基于反向映射的DIBR方法，能够有效减少原有3D Warping变换中容易出现的裂纹；另外，在视点合并步骤中，引入了一种色彩修正方案，消除了合成视图中的明显伪影。
4、为进一步验证提出的立体匹配算法的性能，搭建了一套双目立体视觉系统，对实际场景拍摄立体图像对，利用本文立体匹配算法获取视差图，根据视差计算深度信息并重建三维场景。