● 摘要
多通道人机交互是先进人机交互技术的典型代表，它充分利用人的多种感觉通道和运动通道，用并行方式与计算机系统进行交互，以提高人机交互的自然性和高效性。一般的，多通道人机交互中指称归结是指推断与通道指称相对应的指称对象。它涉及多通道整合需要面临的关键问题，也是影响用户意图理解的主要因素。多通道人机交互是异地协同虚拟设计与虚拟制造系统VEADAM（Virtual Environment Aided Design and Manufacture） 的重要组成部分，其中降低指点模糊性、推断未指明信息和多通道对齐是多通道人机交互指称归结需要解决的问题。本论文提出了一种虚拟环境中的多通道指称归结方法RRVE（Reference Resolution in Virtual Environment）。该方法分析了认知状态与通道指称之间的关系，给出了交互对象的四种状态空间：指点、聚焦、激活和沉寂，按照认知状态等级分阶段进行指称的归结。利用匹配函数体现指称对象认知状态、语义和时间等方面的影响，同时通过感知形状降低三维交互的指点模糊性。本论文在VEADAM中设计并实现了RRVE。首先构造了一个基于语音和手势的多通道界面，实现了任务制导的多通道分层整合模型，然后采取语音驱动的整合策略，利用RRVE进行指称对象的选择。通过碰撞检测记录用户与对象的交互过程，生成感知形状需要的各种统计量。实验结果表明：RRVE能够推断未指明信息、支持多通道对齐和降低指点模糊性，并且从指称归结的成功率和对交互的影响度两个方面给出了RRVE和Greedy方法的比较结果。