● 摘要
Backchannel 反应是人与人交流时,听话人的一种重要反应行为。将人类具有的Backchannel 反应引入人机交互环境中,赋予智能仿生代理类似人类的交流能力,能够有效提升用户对仿生代理的接受度和认可度。本文对适用于汉语人机交互的智能仿生代理Backchannel 反应的时机预测及行为生成的方法进行了探索性研究。 本文从满足汉语交流中 Backchannel 反应的研究需要出发,建立了多模日常汉语对话数据库。为避免个体差异的影响,利用准社会共识采样方法进行了Backchannel 反应数据采集。结合汉语交流中Backchannel 反应的使用特点和准社会共识采样数据,提出了基于语音停顿、基频、能量、可视化特征和支持向量机分类器的多模反应时机预测模型,并设计了主观评价实验对该模型的各项性能进行评价。通过对数据库的进一步分析,提出了结合语音韵律特征和人工神经网络的说话人情感激活度判别方法。根据激活度与Backchannel 反应的关系对应产生反应动作,并利用行为标记语言进行动作描述,通过行为动画播放器实现生动可信的智能仿生代理Backchannel 反应。最后,本文对汉语人机交互中智能仿生代理Backchannel 反应系统的建立进行了有益的尝试。 研究结果表明,多模日常汉语对话数据库的建立与基于准社会共识采样方法的Backchannel 反应数据采集为后续研究的开展打下良好的基础;多模反应时机预测模型预测的Backchannel 反应时机在准确率、召回率及和谐度方面均具有较好的性能;基于说话人情感激活度判别的仿生代理Backchannel 反应行为生成方法有效提升了仿生代理Backchannel 反应的用户接受度;汉语人机交互中智能仿生代理Backchannel 反应系统的初步建立使智能仿生代理的Backchannel 反应研究更具现实意义。
相关内容
相关标签