● 摘要
与其它传统数据应用相比，多媒体应用最突出的特点是集成了多种类型的媒体流，并且其中至少有一种是时间相关媒体。经过存储、传输、播放等过程，媒体流的信息单元之间需要保持原有的时间关系，即数据流必须以同步的方式展现给用户。多媒体同步是多媒体通信中一个特殊的也是极为重要的服务质量，作为多媒体处理中的一项关键技术，媒体同步已经引起了学术界广泛的关注。因此，本文对音视频媒体的同步及其相关的复合问题展开了深入研究。在接收端同步控制研究方面，提出了一种基于服务质量的接收端同步控制方法。该方法建立了服务质量和缓冲区的映射关系, 并利用Internet上时延抖动的统计特性进一步确定缓冲区的大小。实验表明，采用该方法进行音视频的同步控制，不仅能满足用户提出的可感知服务质量，而且具有较高的缓冲区利用率和较低的端到端时延。在接收端同步控制研究的基础上，提出了在收发端进行联合控制的同步算法，该算法在给出多媒体网络应用框架的基础之上，深入地分析了其中影响同步的因素，并通过在发送端控制音视频的同步采集和同步传输、在接收端设置缓冲队列、充分利用已到帧等方法控制同步播放。实验结果表明，与接收端同步控制方法相比，收发端联合控制算法进一步提高了同步的效果。最后，在分析了多种多媒体复合技术的基础上，针对基于DSP芯片实现的音视频编解码系统存储资源有限，没有统一时钟等特点，设计并实现一种面向嵌入式系统的多路音视频媒体复合与同步的方法，实验证明，该方法取得了令人满意的同步效果。