● 摘要
目前，随着计算机性能的不断发展，人机交互的瓶颈越来越突出。传统的人机交互手段已经远远不能满足现代计算机互动游戏所需要的信息量。所以，本文的主旨就是使用最廉价和最普及的人机交互设备（网络摄像头和麦克风）来拓展人机交互的信息量，从而增强人机交互的效率，最终实现一个不用鼠标键盘进行游戏控制的新的游戏形态。首先使用的是人脸检测技术。人的运动在视频图像中的视觉分析是计算机视觉领域最前沿也是最活跃的领域之一，它的核心是利用计算机视觉技术在图像序列中检测、识别、跟踪人，并对其行为进行理解与描述的过程，这个技术在虚拟现实、实时监控、感知接口和军事领域都有非常广阔的应用前景。本研究课题的主要目的是实现在图像序列中检测人脸部的运动，并应用在游戏中，所以我们着重分析人脸检测和人脸运动信息识别的内容。我主要是验证并实现了基于级联分类器的人脸检测算法，并且在原先算法的效率方面做了改进。我使用该算法检测到的人脸进行数据分析，找出人脸的相对位置，来达到控制虚拟摄像机移动的目的。其次，音频控制技术也是本课题的特色之一，是使用麦克风对用户的声音进行采样并量化，来控制虚拟虚拟小球向前移动的一个过程。最后，简单介绍要实现以上目的所需要的辅助手段，包括使用Irrlicht引擎的图形渲染部分和PhysX物理碰撞部分。