题目：多模融合智能仿生代理情绪感知研究

近年来，随着诸如个人语音助手、智能可穿戴设备等新型人机交互方式的出现，以鼠标、键盘为代表的传统人机接口模式正面临巨大变革，用户的使用习惯也正朝着更自然、更直觉化的输入手段转变。在此背景下，人机情感交互这一诉求逐渐受到重视。因此，智能情感识别是目前情感计算领域的一大研究热点。本论文研究了一种多模融合情感识别算法及其在智能移动设备上的实现。

首先，本文研究了人脸表情识别以及语音情感识别算法。在人脸表情识别中，本文提出了一种创新的2.5维人脸主动外观模型，并介绍了其在人脸特征点提取中的应用；还提出了一种改进型局部二值模式提取方法，并通过实验证实其相比传统提取方法具有较好的表情识别效果。在语音情感识别中，本文采用了长短期记忆人工神经网络与支持向量机两种方式对提取的语音特征进行分类，并在北航情感语音数据库上进行了验证。

然后，本文研究了表情与语音相结合的多模融合情感识别算法。对于不同的应用场景，提出了适用于移动设备的特征级融合与决策级融合方法各一种。其中特征级融合方法对音视频信号做强制同步后，通过对特征进行降维，在测试数据集上得到了优于单模算法的识别结果；音视频信号不同步或其中一种模式不可用时，决策级融合方法采用本研究提出的情感融合空间对输入进行融合，以提高算法的鲁棒性。

最后，本文研究了情感识别算法在移动设备上的程序设计，并最终实现了一套由客户端与服务器组成的情感识别软件系统。在算法实现方面，本研究针对移动设备运算能力弱的特点，对原型算法进行了移植与优化，大幅提高了其运行效率；在程序设计方面，由客户端负责提取情感相关特征，服务器进行情感分类并将结果回传至客户端，达到了在移动设备上进行用户情感识别的目的。