题目：基于Kinect的实时面部表情捕捉技术的研究

 

近年来，实时面部表情捕捉技术得到了快速的发展。该技术被广泛应用于真实面部表情动画生成、人机交互等众多领域。本文采用Kinect相机，对实时面部表情捕捉技术开展研究，包括面部特征点实时提取算法和面部表情参数实时提取算法。在此基础上，本文设计实现了一个真实三维表情动画实时生成系统，该系统作为实时面部表情捕捉技术的应用，对本文算法进行了验证。

论文的主要工作包括：

1．研究实现了一种基于深度图像和彩色图像的面部特征点实时提取方法。该方法首先利用K-means聚类算法对输入的深度图像进行背景剔除，进而得到用户面部区域的点云。根据相邻两帧的面部点云，利用迭代最近点（Iterative Closet Point，ICP）算法进行帧间头部姿态追踪，得到当前帧的头部姿态，进而利用3D主动外观模型（Active Appearance Model，AAM）算法从彩色图像中提取用户的面部特征点。

2．提出并实现了一种新型的面部表情参数实时提取方法。该方法以用户的面部特征点作为输入，首先根据面部表情编码系统（Facial Action Coding System，FACS）定义的表情单元（Action Units，AU）从特征点中提取相应的几何度量值，然后根据样本权重和补偿策略将几何度量样本添加到几何度量样本集。样本集在无监督的条件下自动分析样本的分布，推测出各个AU的变化区间，进而计算出当前帧各个AU的变化幅度，得到表情参数。与现有方法相比，该方法无需针对指定用户进行表情采集训练，因此具备较好的普适性和易用性。

3．设计实现了一个真实三维表情动画实时生成系统。该系统包括离线表情编辑器和在线动画生成器两部分。离线表情编辑器设计实现了改进的拉普拉斯变形（Laplacian Deformation）算法，用来生成三维面部模型的Blendshape表情基。在线动画生成器以Microsoft Kinect作为捕捉设备，利用本文提出的实时面部表情捕捉算法提取用户的面部表情，进而驱动带有Blendshape表情基的三维面部模型生成与用户相似的表情动画。

4．设计并开展了一系列实验。通过实验，本文提出的实时面部表情捕捉算法的有效性得到了验证，同时，实验结果也表明本文设计实现的真实三维表情动画实时生成系统实现了预期的功能，并且可以达到实时的效率。