当前位置:问答库>论文摘要

题目:支持Kinect的远程研讨系统的研究与实现

关键词:人机交互,面部追踪,远程研讨,自然交互

  摘要

研讨是人与人之间学习和交流的重要方式,但这种方式对于异地的人们来说需要将很大一部分时间和精力耗费在路程等方面,对提高交流的及时性和效率造成了困难和障碍。因此,需要研究如何借助网络将参与者联系在一起,并提供相应的环境和工具使他们能够进行工作和学习等方面的远程研讨,这可以在很大程度上降低异地人们的交流成本。一般的远程研讨缺乏自然性,人们通常被限制在计算机前且只有鼠标键盘等传统交互方式,造成了交流的不便,如果能设计一定的方法使得系统可以支持自然交互,则可增强远程研讨参与者的用户体验。本文以构建支持Kinect的远程研讨系统为中心,围绕自动面部追踪、远程研讨中的控制与自然交互以及音视频数据处理、传输等问题展开方法研究和应用开发工作,主要包括:1. 给出了一种基于Kinect的自动面部追踪方法,论文在分析基于二维图像的面部追踪方法不足的基础上,将交互设备Kinect与可编程旋转摄像机进行标定组成追踪设备,并对Kinect捕获的人体骨骼数据序列进行优化和处理,根据处理后的数据驱动可编程旋转摄像机实现自动面部追踪;2. 设计了远程研讨中的控制方法与自然交互方式,控制方法包括研讨过程控制、文件共享控制、文件同步控制,并通过对控制命令的统一处理实现远程研讨中参与者之间的交流,自然交互方式包括利用手势模拟鼠标指针操作和文件操作;3. 设计了音视频数据处理中的缓冲区结构、数据处理过程以及采集、编码、解码和播放的并发过程,应用iLBC音频编码标准、H.264视频编码标准和RTP(实时传输协议)实现了音视频的采集、编解码、播放和传输,保证了较好的实时性和音视频质量;4. 在以上工作的基础上,论文设计并实现了支持Kinect的远程研讨原型系统,该系统由远程研讨服务器和客户端组成,服务器主要用于管理远程研讨中的参与者信息、转发参与者发出的控制命令,为客户端提供远程研讨管理服务,客户端的作用是为远程研讨的参与者提供自动面部追踪、远程研讨控制、自然交互以及音视频采集、编解码、播放和传输等功能。