● 摘要
多视图三维重建是一种使用被动成像设备采集多幅图像并自动重构真实场景数字化几何模型的技术。其优势在于将人从复杂的人工测量及点线面建模过程中解脱出来，为计算机辅助制造、城市测绘等应用提供自动或半自动化的几何建模输入，也为远程沉浸、虚实交互等应用提供数据驱动支持。多视图三维重建问题属于病态问题，其求解计算具有不确定性，表现为：不同采集设备、不同输入图像、不同场景形状及外观属性，以及不同的重建算法都将导致不同的三维重建结果。如何权衡上述不确定因素以逼近最优或合理的精确模型，并考虑在虚实混合环境下的实际应用，成为研究与实践的关注点。以室内多相机虚实混合应用为背景，本文分别从相机标定、图像输入及重建误差处理几方面研究了多视图三维重建中的不确定问题，给出了相应优化与评价技术：1、基于辐照度的多相机颜色标定方法。根据相机颜色成像理论与模型，将不同相机采集的图像映射至统一的线性颜色辐照度空间，应用线性最小二乘和变换矩阵方法校正采集图像，避免了因设备型号与配置差异及未知场景外观属性引入的颜色差异。相比于其它颜色标定方法，在辐照度层标定颜色，无需调节相机硬件参数，即可在视觉和数值上达到颜色一致，有效提高了基于颜色一致性的三维重建算法的重建精度，同时给出一种在实践中判定颜色一致性阀值的方法。2、多相机视频关键帧选择与对齐方法。在部署少量相机的采集平台中，构建全局参考几何模型，跟踪其投影至图像上的显著可见特征点。视频跟踪中，基于参考模型估计视频帧姿态变化，避免了传统运动结构恢复方法在多相机几何标定计算过程中的累积误差和深度尺度估计差异；根据转角偏移测量虚拟相机运动，选择关键帧，将窄基线和宽基线立体匹配融合，为多视图精确三维重建提供必要数量的标定图像，在仅部署五台相机的采集环境中实现离线建模初始化应用。3、细节特征保持的表面重建方法。定义一种新的正则带权最小二乘三维滤波器，将重建算法的计算误差看作点云噪音并光栅化至概率空间，同时定义表面褶皱和尖锐特征为高斯光滑表面与初始表面在该概率空间的协方差。通过两阶段滤波在抑制高频噪音的同时恢复表面细节特征，使用图割方法抽取等值面并网格化。相比于泊松表面等经典表面重建方法，本方法恢复的三维重建表面不仅鲁棒于噪音、异常点和空洞，还保持了褶皱、尖锐等细节特征，更适用于拟合扫描仪或图像重建的点云数据。4、多视图三维重建的度量评价。基于图像绘制方程，在球谐波域中从多幅视图中恢复三维重建模型表面的辐照度，根据辐射能连续变化基本假设，并考虑纹理变化与遮挡阴影对基本假设的影响，估计表面各顶点反射率，显式的计算观测辐照度与估计辐照度的差异，计算各向异性的辐照度梯度值指示三维重建结果质量。实验结果表明，度量评价指标可正确指示多视图三维重建错误区域，接近于使用基准数据表面比较方法的度量结果，且适用于室内外应用场景，也可用于虚实混合环境下相机自动规划应用。5、室内多相机三维重建应用系统。分析室内虚实混合应用系统的需求，设计并实现了多相机三维重建系统的硬件架构和软件框架，通过点模型统一几何数据结构，将不同三维重建算法实现抽象为统一接口供上层不同应用系统调用。给出一种可视外壳残影体去除的实时三维重建方法，并将颜色标定、关键帧选择与对齐、表面重建方法集成在系统中。通过离线建模初始化和实时虚实交互两个虚实混合应用实例验证了系统的有效性和实用性。