● 摘要
人脸表情是人类生活中的重要交流手段，在心理学和非语言交流的研究中具有重要地位。随着人机交互与情感计算领域的快速发展，人脸表情的识别与生成成为一个重要研究内容。然而，目前的研究仍存在一定的局限性，如缺少对情感表情计算模型的研究，缺乏对人脸表情识别的鲁棒性研究，缺乏对智能表情生成机制的研究等。本文的目标是使计算机能够鲁棒地识别人脸表情，并智能生成仿生代理的表情，与人进行自然和谐的交流。人脸表情识别已成为世界各国学者的研究热点。虽然国内一些大学和研究机构已经研制出较为成功的人脸表情识别原型系统，但都有一定条件的约束。人脸表情识别还未达到复杂环境下对精细表情识别、复杂表情识别及鲁棒表情识别的能力。本文研究鲁棒表情识别，以提高计算机表情识别能力。人脸表情生成在人机界面中发挥着重要作用。但目前的人脸表情生成主要关注于底层的表情建模及合成技术，但对于高层的表情生成机制研究较少，导致人机交互中的表情生成缺乏智能。本文研究情感与表情建模及智能人脸表情生成机制，使仿生代理在人机交互中智能生成各种表情。本文的研究内容包括以下五个方面：（1）人脸表情数据库的建立及评价。针对国内外情感表情数据匮乏的现状，设计并实现了较全面的BHU人脸表情数据库，涉及人类主要的情感表情，包含单一表情、混合表情和复杂表情等共25种，并对表情数据进行了评价、分析及表情识别实验。BHU人脸表情数据库对促进人脸表情识别技术及情感化人机交互系统的发展具有积极的意义。（2）鲁棒的人脸检测及跟踪研究。首先，提出了一种基于显著性检测的人脸检测方法，能够剔除不具备显著性特点的类似人脸的干扰物。其次，提出了一种基于肤色验证的联合检测跟踪方法，能够实现鲁棒的人脸跟踪。（3）遮挡情况下鲁棒的人脸表情识别研究。首先，提出了基于鲁棒主成分分析（RPCA）和显著性检测的方法检测出人脸上的遮挡区域。其次，提出了基于RPCA局部遮挡区域重构和重加权多分类AdaBoost分类器的方法进行鲁棒的表情识别。实验结果表明本文的方法对有面部遮挡的表情识别具有鲁棒性。（4）情感与表情建模的研究。首先，提出了新的激励―诱力―表现力三维情感空间，其中激励表示情感的强度，如激动或平静；诱力表示情感的正性或负性，如快乐或不快乐；表现力表示情感表达为表情的强度，如高兴的表现力比感激的表现力强。该三维情感空间是在二维情感空间的基础上加入了一维表现力，使得该模型更适合人脸表情识别和生成的研究。其次，提出了分层模糊表情生成模型，将社交层、情感层和生理层作为表情生成的来源，并模糊生成表情。该模型融合现有与表情相关的理论，对人机交互中的表情生成具有重要意义。（5）智能表情生成研究。基于分层模糊表情生成模型，建立了分层智能模糊表情生成系统。该系统通过社交层、情感层和生理层控制表情生成，并实现了表情的模糊性和个性，是最接近人类特性的一个表情生成系统。该表情生成系统的优点在于：考虑了社交因素、情感因素和生理因素生成表情，并进行分层控制，使仿生代理的表情生成更加智能；实现了表情的模糊生成，使得仿生代理的表情更加丰富和富于变化；实现了具有个性的表情生成，使仿生代理更加灵活和个性化；设计了分层智能模糊表情生成语言实现表情生成，使表情生成具有可扩展性。