● 摘要
新一代视频压缩标准H.264/AVC以超高的压缩率和良好的网络亲和性正在受到越来越多的关注。H.264/AVC超高的压缩率使得异构网络的带宽问题得到了一定程度的解决,带动了整个视频通信领域的长足发展。然而高压缩率意味着编码之后的码流更加易于受到网络丢包的损害,一个数据包的丢失可能会导致大面积视频内容损坏。尽管H.264/AVC标准本身具有良好的网络亲和性以及较强的抗误码特性,但是针对复杂的异构网络环境这些特性依然显得太薄弱。H.264/AVC提供的大部分错误控制与恢复方法只关注如何更好地保护码流,但是在视频内容确实发生了丢失的情况下,这些方法基本上是无能为力的。另外,目前的大部分错误恢复的方法都认为错误已经被事先测试出来,但是在实际应用中准确定位错误的位置实际上是非常困难事情。因此,研究基于新一代视频压缩标准H.264/AVC的视频错误控制与恢复技术显得非常迫切和尤为重要。本论文基于最新的视频编码标准H.264/AVC,提出了一个基于编码端的错误控制方案、一套完整的错误控制与恢复框架以及基于这个框架的二个算法,主要创新点分为下面四个方面。1. 提出一种基于反馈的ROI冗余技术。此方法克服了前向纠错和交互式方法固有的缺陷,针对前向纠错需要改变码流结构的问题,采用的冗余片技术从而保持码流的通用性,而且只针对感兴趣区域的冗余也可以降低码率。针对交互式反馈信息需要占用额外带宽的问题,率先采用码流中的辅助增强信息域携带反馈信息,从而节省带宽。由于需要用到基于ROI的冗余片技术,需要事先检测ROI区域的位置,本方法中也提出了一种有效检测感兴趣区域的方法:贪心扩展算法,相比与目前比较主流的ROI检测算法,检测效果得到显著提高,更加适合于端对端的视频通信系统。2. 提出了一个新颖而有效的提升视频流抗丢包性能的框架:选择性错误控制与恢复框架。该框架的核心思想是解码端为编码端提供尽可能多的方便以及辅助信息,为解码端创造良好的恢复环境,这属于错误控制。解码端也需要区分丢失宏块的不同运动特性,从而根据不同的运动特性采用不同的恢复方法,这属于选择性恢复。另外,采用灵活宏块次序的方法对视频流进行编码使得选择性恢复框架本身具有准确的错误检测和定位能力,同时也能在一定程度上有效避免错误的蔓延。3. 提出一种基于运动向量场转移的错误控制与恢复方法,该方法关注像素在帧间的流动特性,将帧帧之间的像素运动看成一个运动向量场,进而采用运动向量场转移的方法模拟像素的运动特性,从而恢复丢失的运动向量场。通过恢复出来的运动向量场的引导,再次逐个恢复出丢失的像素从而实现总体的错误恢复。此方法属于选择性错误控制与恢复方法,采用贪心扩展算法识别感兴趣区域,将此区域看成是高运动的区域,从而将丢失的宏块分成高运动宏块和低运动宏块。这种方法的出发点是尽可能保留像素的运动规律,通过运动规律再恢复像素值,相比于其他直接恢复像素的方法更加能够表征像素的运动特性。4. 提出一种基于图像边缘的错误控制与恢复方法,该方法改进了基于运动向量场转移方法中判断高运动宏块的方法,不再将高运动宏块限定为某个区域,而是根据不同帧的情况动态计算高运动宏块和低运动宏块之间的阈值。针对时域冗余较强的低运动宏块,采用直接从前面帧复制的方法,针对时域冗余较差的高运动宏块,更加关注它的图像边缘特性,采用基于边缘的空间恢复的方法进行恢复,先恢复图像边缘,再沿着边缘恢复逐个像素。这种方法的出发点是时域冗余较差的宏块携带较多的细节信息,而且也不是通过时域的冗余技术可以进行恢复的,对于这部分宏块需要采用更多的帧内恢复技术,例如本方法中采用的基于边缘的恢复技术。
相关内容
相关标签