● 摘要
随着多传感器系统在许多领域的发展,如遥感、医学成像和计算机视觉,使得得到来自同一场景在多个光谱段的图像成为可能。图像融合是将两个或两个以上的一个场景的图像信息结合到一个单独的合成图像的过程,该合成图像具有更丰富的信息,并且更适合视觉感知或计算机处理。融合图像可以提供单个输入图像中可能观察不到的信息。在多光谱图像融合的应用中,源图像之间存在着巨大的差异。如何使融合结果不失真是一个关键的问题。
本文介绍了Piella提出的多分辨率图像融合框架,并且依据其框架理论,我们提出了基于显著性和结构相似性的多分辨率融合规则。传统的多分辨率融合规则对分解后的近似分量并不重视,而在源图像相似度较小的情况下近似分量对融合图像的质量影响很大。我们依照Piella多分辨率图像融合框架,采用显著性作为近似分量的活性测度,结构相似性作为近似分量的匹配测度,并设计了决策模块中的融合函数。实验结果证明,我们的方法在低相似度的图像融合中,能够很好地改善融合图像的质量。
但多分辨率方法具有固有的缺陷,即在数据冗余以及平移不变性上达不到很好的平衡。在分析了传统多分辨率融合方法的缺陷后,我们提出了一种基于二维主成分分析的图像融合方法。该方法采用二维主成分分析将红外和可见光图像转换到特征域。然后,根据提取特征的重要性将它们分为主要部分和次要部分,每个部分采取不同的融合规则进行融合。最后重构得到融合图像。实验结果表明,该方法优于多分辨率方法。
最后,我们研究了FPGA平台上拉普拉斯金字塔图像融合算法以及色彩传递伪彩色融合算法的具体实现。我们介绍并分析了算法的基本原理,并根据FPGA的结构特点,设计了基于Verilog语言的算法实现框架,给出了实现难点的具体解决方案,使得算法能够在50Hz频率的视频上达到实时处理。