当前位置:问答库>论文摘要

题目:多视频流虚实融合客户端的设计与实现

关键词:多视频流;三维场景;虚实融合;相机调度

  摘要


    基于视频图像的增强虚拟环境技术将视频图像与三维场景进行虚实融合,在提升三维场景真实感的同时,帮助用户理解每个视频的内容和各视频间的时空关联,减轻了用户认知压力。本文围绕多视频流虚实融合客户端的设计与实现,从客户端的总体结构设计、视频图像与三维场景的融合绘制方法、多相机的访问数据结构与实时调度算法等方面开展工作,主要包括以下内容。

设计了客户端的总体结构。客户端主要分为数据获取、调度融合、场景控制和用户界面四部分。数据获取提供客户端所需的场景数据、相机参数、视频图像等信息,调度融合实时调度多路视频流与三维场景融合,场景控制提供对场景的交互控制,用户界面将融合结果可视化并为用户提供交互操作。

    提出了一种视频图像与三维场景的融合绘制方法。根据相机位置和姿态信息求得相机的模型-视图矩阵和投影矩阵,利用这两个矩阵将视频图像投影到场景模型上。使用场景深度图对遮挡情况进行检测,筛选对相机可见的模型加速融合计算,并在投影时为每个相机设置远平面作为场景结构的补充。

    设计了多相机的访问数据结构和实时调度的算法。根据空间位置分组管理场景中的相机,设计相机视频流的缓存数据结构和访问接口,根据视点实时调度附近可见的相机,建立五个列表来管理相机的加入和退出。

    在以上工作的基础上,设计实现了一个多视频流虚实融合客户端,并对该客户端进行了功能和性能实验。功能实验验证了客户端的功能正确性,性能实验表明了客户端在各项指标上能达到系统的需求。