改进空间细节提取策略的分量替换遥感图像融合方法

王文卿　刘涵　谢国　刘伟

摘 要：針对多光谱图像与全色图像间的局部空间差异引起的空谱失真问题，提出了一种改进空间细节提取策略的分量替换遥感图像融合方法。与传统空间细节提取方法不同，该方法旨在合成高质量的强度图像，用其取代空间细节提取步骤中全色图像的位置，以获取匹配多光谱图像的空间细节信息。首先，借助低分辨率强度图像与高分辨率强度图像的流形结构一致性，利用基于局部线性嵌入的图像重建方法重构第一幅高分辨率强度图像;其次，对低分辨率强度图像与全色图像分别进行小波分解，保留低分辨率强度图像的低频信息与全色图像的高频信息，利用逆小波变换重构第二幅高分辨率强度图像;然后，将两幅高分辨率强度图像进行稀疏融合，获得高质量强度图像;最后，将合成的高分辨率强度图像应用到分量替换融合框架，获取最终融合图像。实验结果表明，与另外11种融合方法相比，所提方法得到的融合图像具有较高的空间分辨率和较低的光谱失真度，该方法的平均相关系数、均方根误差、相对整体维数合成误差、光谱角匹配指数和基于四元数理论的指标在三组GeoEye-1融合图像上的均值分别为：0.9439、24.3479、2.7643、3.9376和0.9082，明显优于对比方法的相应评价指标。该方法可有效地消除局部空间差异对分量替换融合框架性能的影响。

关键词：多光谱图像;全色图像;分量替换融合框架;空间细节提取;稀疏融合

中图分类号：
TP751.1文献标志码：A

Component substitution-based fusion method for remote sensing images via

improving spatial detail extraction scheme

WANG Wenqing1，2*， LIU Han1，2， XIE Guo1，2， LIU Wei1，2

（1. School of Automation and Information Engineering， Xian University of Technology， Xian Shaanxi 710048， China;

2. Shaanxi Key Laboratory of Complex System Control and Intelligent Information Processing

（Xian University of Technology）， Xian Shaanxi 710048， China）

Abstract：
Concerning the spatial and spectral distortions caused by the local spatial dissimilarity between the multispectral and panchromatic images， a component substitution-based remote sensing image fusion method was proposed via improving spatial detail extraction scheme. Different from the classical spatial detail extraction methods， a high-resolution intensity image was synthesized by the proposed method to replace the panchromatic image in spatial detail extraction with the aim of acquiring spatial detail information matching the multispectral image. Firstly， according the manifold consistency between the low-resolution intensity image and the high-resolution intensity image， locally linear embedding-based reconstruction method was used to reconstruct the first high-resolution intensity image. Secondly， after decomposing the low-resolution intensity image and the panchromatic image with the wavelet technique respectively， the low-frequency information of the low-resolution intensity image and the high-frequency information of the panchromatic image were retained， and the inverse wavelet transformation was performed to reconstruct the second high-resolution intensity image. Thirdly， sparse fusion was performed on the two high-resolution intensity images to acquire the high-quality intensity image. Finally， the synthesized high-resolution intensity image was input in the component substitution-based fusion framework to obtain the fused image. The experimental results show that， compared with the other eleven fusion methods， the proposed method has the fused images with higher spatial resolution and lower spectral distortion. For the proposed method， the mean values of the objective evaluation indexes such as correlation coefficient， root mean squared error， erreur relative global adimensionnelle de synthese， spectral angle mapper and quaternion theory-based quality index on three groups of GeoEye-1 fused images are 0.9439， 24.3479， 2.7643， 3.9376 and 0.9082 respectively. These values are better than those of the other eleven fusion methods. The proposed method can efficiently reduce the effect of local spatial dissimilarity on the performance of the component substitution-based fusion framework.

Key words：
multispectral image; panchromatic image; component substitution-based fusion framework; spatial detail extraction; sparse fusion

0 引言

随着人类对未知空间的不断深入探索，卫星遥感系统已成为大范围场景监测的重要工具，在深空探测、大气监测、对地遥感、战场侦察等领域发挥着日趋广泛的作用。高空间分辨率和高光谱分辨率遥感影像成为用户的迫切需求。然而，光谱传感器探测多个波段，光谱带宽狭窄，需具有较大瞬时视场角才能获得可接受的信噪比。瞬时视场角大小是决定地面瞬时视场角大小（即空间分辨率）的直接因素，增大瞬时视场角大小意味着空间分辨率降低。因此，传感器的空谱分辨率之间相互制约，难以同时获取高空间分辨率与高光谱分辨率的遥感影像。光学遥感卫星，如GeoEye-1，一般搭载光谱成像传感器和全色成像传感器，获取两类图像：多光谱 （MultiSpectral， MS） 图像与全色（PANchromatic， PAN） 图像。MS图像拥有多个波段，具备高光谱分辨率，但其空间分辨率较低。与之相反，PAN图像具备高空间分辨率，但其仅有单个波段，缺乏光谱信息。遥感图像融合技术的提出，实现了MS图像与PAN图像的有效结合，获得高空间分辨率多光谱（High spatial resolution MultiSpectral， HMS）圖像， 从“软件”层面为解决遥感影像空谱分辨率矛盾提供了有效途径[1，2]。

经过数十年发展，MS图像与PAN图像融合已经成为遥感图像处理的热点研究问题。诸多基于不同理论框架的MS与PAN图像融合方法被提出，主要划分为三类：分量替换方法、多分辨率分析方法与基于模型的方法[3-4]。分量替换融合框架以其简单、高效、良好的锐化效果等优点被广泛应用。分量替换融合方法包括基于强度色度饱和度（Intensity-Hue-Saturation， IHS）变换的融合方法、基于主分量分析（Principal Component Analysis， PCA）的融合方法与基于施密特正交（Gram Schmidt， GS）变换的融合方法等[1]，其中基于IHS变换的融合方法最为经典。针对分量替换融合方法光谱失真严重的问题，该研究领域学者主要从如下两个方面对其进行改进：空间细节信息提取方法与空间细节信息注入方法[5]。经典空间细节信息提取方法通过寻求最优谱权重，增强强度图像与PAN图像的相关性，获取最佳空间细节图像。经典IHS方法仅考虑了蓝、绿、红三波段融合，强度图像与PAN图像的低相关性使融合图像严重光谱失真。文献[6]提出了广义强度色度饱和度 （Generalized IHS， GIHS）融合方法，适用于四波段多光谱图像融合，其中谱权重设定为1/4。考虑MS图像各波段光谱响应曲线与PAN图像光谱响应曲线的重叠关系，文献[7]提出了固定谱权重的IHS融合方法。然而，固定谱权重并不适用于所有类型的遥感数据。为此，文献[8-9]提出了自适应谱权重的IHS融合方法，分别利用多元回归分析和粒子群优化算法计算最优谱权重。文献[10]提出了非线性IHS方法，采用局部与全局合成方法来构建强度图像。然而，MS图像与PAN图像间的局部空间差异难以通过空间细节提取方案消除，细节信息的过度注入致使融合图像空谱失真。为解决该问题，空间细节信息注入方法被提出。文献[11]提出基于统计比率的高频细节注入模型，通过部分替代的方式实现空间细节信息有效注入。文献[12]提出了基于边缘自适应的IHS融合方法，利用指数边缘检测算子设计空间细节信息注入模型。文献[5]在文献[12]方法的基础上，考虑PAN图像与MS图像的边缘特性，提出了改进的自适应边缘注入模型，提高了融合图像的空间与光谱质量。

基于多分辨率分析的方法则是利用金字塔变换、小波变换、曲波变换、轮廓波变换与脊波变换等[1]提取PAN图像的高频细节信息，并将其融入MS图像来构建HMS图像。文献[13]将基于多分辨分析的融合方法归纳为统一框架，主要包含两大步骤：空间细节信息提取与空间细节信息注入。空间细节信息提取利用空间滤波器提取单尺度或多尺度高频信息。空间细节注入模型是设计波段增益系数调整注入MS图像中细节信息数量。相较于分量替换融合方法，多分辨率分析融合方法可有效减少融合图像光谱失真，但其计算复杂度更高，会产生空间畸变。

基于模型的融合框架是通过建立低分辨率MS（Low-resolution MS， LMS）图像、PAN图像与HMS图像的关系模型，结合HMS图像先验特性，构建与求解目标函数重建融合图像。此类方法所用经典图像先验模型包括：自回归模型[14]、高斯马尔可夫随机场模型[15]、图割模型[16]、全变分模型[17]、空间海森特征模型[18]等。近年来，稀疏表示理论被广泛应用于遥感图像融合领域。文献[19]首先将压缩感知与稀疏表示理论用于遥感图像融合，稀疏性保证了HMS图像的高质量重构。在此基础上，研究者相继提出了诸多基于稀疏表示的遥感图像融合方法[20-26]。基于模型的融合框架可实现空谱信息的有效融合，大幅度降低空谱失真，但其高计算复杂度制约该类方法的实际应用前景。

在已有分量替换融合方法的基础上，针对MS图像与PAN图像间局部空间差异引起的空谱失真问题，本文提出了一种改进空间细节提取策略的分量替换融合方法。与传统空间细节提取方案不同，该方法利用基于局部线性嵌入的图像重建方法和小波融合方法分别生成两幅高分辨率强度图像，然后利用稀疏融合方法对两幅高分辨率强度图像进行信息互补，消除MS图像与PAN图像因成像机理不同产生的局部空间差异，获取匹配MS图像特性的高质量空间细节图像。相比前面介绍的三类方法，本文算法在避免光谱失真的同时，生成空间结构特征更加清晰的融合图像。本文算法在客观评价指标上也优于对比算法。

1 分量替换融合框架通用模型

分量替换融合框架是遥感图像融合的典型方法，在现实生活中得到广泛应用，其核心思想是特征空间变换与主分量替换。分量替换融合框架的主要实现步骤[11]如下：

1）对LMS图像进行插值，使其与PAN图像尺寸相同。

2）将上采样LMS图像变换到指定特征空间，其主要分量定义为 IR，如式 （1）所示：

其中：MSRn 表示上采样LMS图像的第n个谱段;Cn 表示变换后的第n个分量;c表示前向变换矩阵。

3）对PAN图像进行直方图匹配，然后用其替换式 （1） 中的主要分量IR。

4）利用式（2）实现逆变换，获得HMS图像：

其中：PH表示直方图匹配后的PAN图像;MSHn表示HMS图像的第n个谱段;g表示逆变换矩阵。

上述内容表明实现分量替换融合方法的关键步骤为特征空间变换与主分量替换。然而，两次矩阵变换会使分量替换融合方法产生较高计算复杂度。文献[11]研究发现，典型分量替换融合框架经过式 （3） 演化，可形成通用模型，如式 （4） 所示。

其中：gn表示第n个波段的调制系数;δ表示从PAN图像中提取的空间细节图像。从分量替换融合框架通用模型可以看出，融合图像的质量依赖于形成空间细节图像δ的谱权重系数cn与调制系数gn。

2 改进空间细节提取策略的分量替換融合

分量替换融合框架通用模型表明上采样低分辨率强度图像IR的质量是决定融合图像质量的关键变量之一。文献[1]指出低分辨率强度图像与PAN图像的相关性越高，融合图像的空谱质量越好。然而，MS图像与PAN图像间的局部空间差异使得利用计算最优低分辨率强度图像获取最佳空间细节图像的方法受到极大限制。因此，从获取高质量空间细节图像的角度，本文提出新的空间细节提取方案，通过合成高分辨率强度图像，替代空间细节提取步骤中PAN图像。图1 所示为改进的分量替换融合框架流程，其具体实现步骤如下。

2.1 基于局部线性嵌入的高分辨率强度图像重建

低分辨率强度图像与高分辨率强度图像获取同一场景影像。因此，低分辨率强度图像块与对应高分辨率强度图像块在不同空间具有相同流形结构。那么，借助这一假设条件，本文提出了基于局部线性嵌入的图像重建方法，利用低分辨率强度图像重建高分辨率强度图像，消除MS图像与PAN图像间局部空间差异对空间细节图像的影响，其主要实现步骤如下。

1）构建耦合字典对。

高分辨率PAN图像与低分辨率PAN图像用作训练数据集，构建耦合字典对。首先，设计基于调制传递函数形状的低通滤波器，然后用其对高分辨率PAN图像进行滤波下采样操作，获取低分辨率PAN图像[13]。其次，对低分辨率PAN图像与高分辨率PAN图像分别采用分块处理策略，块大小分别设定为p1×p2与rp1×rp2，重叠步长为[1 1]，其中r表示MS图像与PAN图像空间分辨率比率。低分辨率PAN图像块集合与高分辨PAN图像块集合分别定义为DL=[dL1，dL2，…，dLQ]与DH=[dH1，dH2，…，dHQ]，其中：dLj表示低分辨率PAN图像第j个图像块，dHj表示高分辨率PAN图像第j个图像块，Q 定义为图像块的数量。

2）计算重构权重系数。

如图1 所示，低分辨率强度图像IL定义为LMS图像各个波段的线性组合，如式（1）所示：

IL=∑Nn=1cn·MSLn+b（5）

其中：MSLn表示LMS图像第n个波段;cn表示谱权重。本文将采用文献[8]中多元回归分析方法计算谱权重，获取低分辨率强度图像。利用块处理策略将低分辨率强度分量IL划分为大小为p1×p2的图像块，其组成的图像块集合定义为{xLi}N1i=1， 其中N1为图像块的数量。然后，利用最近邻方法从低分辨率字典DL中搜索与图像块xLi相似的前K个最近邻图像块，并定义前K个图像块组成的集合为DLi=[dLi，1，dLi，2，…，dLi，K]。那么相应重构权重wi可通过求解如下的目标函数获取[27]：

其中：Ui是第i个图像块的局部格拉姆矩阵;1表示全1的向量。

3）重构高分辨率强度图像I1h。

根据前文假定条件，低分辨率图像块与高分辨率图像块间存在流形结构一致，那么与xLi对应的高分辨率图像块xHi可通过如下计算式进行重构：

xHi=∑Kk=1i，kdHi，k（9）

其中，DHi=[dHi，1，dHi，2，…，dHi，K]表示图像块xHi在高分辨率字典DH中寻到的前K个最近邻图像块。然后，将图像块重叠区域平均处理后可重构高分辨率强度图像I1h。

2.2 合成高分辨率强度分量I2h

上述方法合成高分辨率强度分量I1h，利用了低分辨率图像块与高分辨率图像块间的隐性关系，同时利用了强度图像与PAN图像的结构相似性。然而，该方法合成的高分辨率强度图像局部区域存在空间细节模糊，会影响空间细节图像的质量，进而影响融合图像的效果。为此，本节利用小波变换方法生成高分辨率强度分量I2h，然后再通过局部融合的方式来获取质量更高的强度图像[28]，其具体实现步骤如下：

1）小波分解。

利用Matlab函数多层二维小波变换wavedec2对上采样强度图像IR与直方图匹配后的PAN图像进行分解，其分解层级设定为3层。定义cA1与aA1分别表示强度图像与PAN图像的低频分量，且cD1、cD2、cD3与aD1、aD2、aD3分别表示两幅图像的高频分量。

2）系数替换。

强度图像的低频分量包含着多光谱图像的绝大部分光谱信息，因此需要保留下来。PAN图像的空间细节信息要比强度图像的空间细节信息清晰，为了提升强度图像的空间分辨率，PAN图像的高频细节信息被完整保留。因此，本文用PAN图像的高频细节系数替换强度图像的高频细节系数。

3）小波逆变换。

对保留下来的cA1、aD1、aD2、aD3等分量进行小波逆变换后，可获得高分辨率强度图像I2h。

研究发现，通过小波变换方法获取的高分辨率强度图像在局部区域同样存在空间细节丢失的问题。

2.3 稀疏融合策略

为了改进高分辨率强度图像局部区域质量，本节提出稀疏融合策略，从局部区域实现两幅高分辨率强度图像的信息互补。稀疏融合的流程如图2所示，具体实现步骤如下：

1）采用块处理策略，首先将高分辨率强度图像I1h与I2h分别按照块大小q1×q2进行分块处理，并定义图像块集合{vs1}Ss=1与{vs2}Ss=1，其中S表示图像块数量。

其中：αs1 与αs2分别表示第s个图像块的稀疏系数;ε为重构误差;D 表示字典矩阵，其基原子由离散余弦变换、小波“db1”、Gabor与脊波变换的基构成[29]。该字典综合了四种多尺度几何字典的优点，能够有效地表征纹理、细节与线条等几何结构。

3）稀疏系数表征图像块的主要结构特征，为了互补局部区域的信息，本文采用如下融合规则：

αsf=αs1， ‖αs1‖2≥‖αs2‖2

αs2，‖αs1‖2<‖αs2‖2 （12）

其中αsf表示第s个融合图像块的稀疏系数。该融合规则选择具有最大能量值的稀疏系数作为融合系数。融合图像块vsf可通过如下方式求得：vsf=Dαsf。对图像块重叠区域求平均后可实现高分辨率强度图像Ih重构。

经过上述步骤后，获取了高分辨率强度图像Ih。在式（4）中，利用强度图像Ih替换PAN图像PH，可得到新的空间细节图像δ1=Ih-IR。将空间细节图像δ1应用于分量替换融合框架后，可获得融合图像。

3 实验与结果分析

3.1 实验数据与评价方法

本文采用GeoEye-1遥感数据来验证算法有效性。该遥感数据呈现澳大利亚霍巴特地区的场景，包含城区、郊区、山脉、森林、河流等地物景象，其可提供2m空间分辨率的MS图像与0.5m空间分辨率的PAN图像。MS图像包含蓝色（Blue， B）、绿（Green， G）、红（Red， R）与近红外（Near InfRared， NIR）四个波段。

视觉分析与量化评估是遥感图像质量评价的两种主要方式。视觉分析属于主观评价策略，主要依赖人类视觉系统对图像质量的感知。人类视觉系统对图像的结构特征，例如轮廓、线条、纹理、边缘细节等，更加敏感;同时，对图像中的模糊、振铃、光晕等效应也可清晰判别。然而，单纯依赖视觉分析并不可靠，因此采用五种经典量化评价方法来客观评估融合算法性能。五种评价方法分别是相关系数（Correlation Coefficient， CC）、均方根误差（Root Mean Squared Error， RMSE）、相对整体维数合成误差（Erreur Relative Global Adimensionnelle de Synthese， ERGAS）、波谱角匹配指数（Spectral Angle Mapper， SAM） 与基于四元数理论的指标（Quaternion theory-based Quality index， Q4）[30]。CC描述参考图像与融合图像的相关性，RMSE测量参考图像与融合图像的误差大小，ERGAS测量融合图像的空间失真，SAM测量融合图像的光谱失真，Q4测量融合图像空间与光谱整体质量。五种评价指标的理想值依次为1、0、0、0、1。CC与Q4的数值结果越接近1，表明融合图像的质量越好。RMSE、ERGAS与SAM的数值结果越接近0，表明融合图像的质量越好。五种客观评价指标均需要参考图像，但真实遥感数据并不提供参考图像，因此，本文利用仿真数据验证算法性能。首先，将2m空间分辨率的MS图像与0.5m空间分辨率的PAN图像进行降质，获得8m空间分辨率MS图像与2m空间分辨率的PAN图像，并将其作为测试数据。以原始2m空间分辨率的MS图像作为参考图像。

3.2 参数设置

本文算法中，谱权重系数通过多元回归分析方法获取，具体步骤参考文献[8]。构建高分辨率强度图像I1h时图像块大小设定为5×5，参数K的值设定为20。构建高分辨率强度图像I2h时，利用小波“sym8”实现图像分解。在稀疏融合步骤中，重构误差ε设定为0.01，注入模型增益系数设定为1。

稀疏融合过程中图像块大小对算法性能产生很大影响。本实验在固定上述参数的情况下，探讨了当图像块大小分别为5×5、7×7、9×9、11×11和13×13时，本文算法性能的变化过程。实验在第一组GeoEye-1遥感数据上进行。本文算法融合结果随着图像块大小变化的客观评价指标性能曲线如图3 所示，其中，纵坐标为归一化后的CC、RMSE、ERGAS、SAM与Q4量化评价指标数值结果与算法运行时间。由图3可知，当图像块大小为7×7时，本文算法给出了最大Q4数值结果和最小RMSE、ERGAS与SAM数值结果。本文算法在图像块大小为7×7时给出的CC数值结果相较图像块大小为9×9、11×11、13×13时都要低。图3中还给出了本文算法的运行时间随着图像块大小的变化情况。分析可知，随着图像块逐渐变大，本文算法的运行时间越来越多。综合考量客观评价指标数值结果与算法的运行时间，在图像块大小设定为7×7时，本文算法的性能最优。因此，在下面的实验中，稀疏融合步驟中图像块大小设定为7×7。

3.3 不同高分辨率强度图像下融合结果分析

本节讨论与分析三幅高分辨率强度图像I1h、I2h与Ih分别用于分量替换融合框架后获得融合图像的质量，如图4所示。图4 （a）～（c） 分别为由三幅高分辨率强度图像获得的空间细节图像。图4（a）与图4（b）相比较可以发现：（a）中大矩形框标定区域细节信息不如（b）中大矩形框标定区域细节信息清晰;相反，（a）中小矩形框标定区域要比（b）中小矩形框标定区域的细节信息更加丰富。图4（c）所示为稀疏融合后的高分辨率强度图像生成的空间细节图像，与图4（a）与图4（b）相比，该图局部区域细节信息更加清晰。

图4（d）～（f）对应于三幅高分辨率强度图像的融合结果。图4（f）的空间细节信息明显比图4（d）与图4（e）的空间细节信息保留得更加完整。因此，通过稀疏融合策略将I1h与I2h的互补信息进行整合，可有效提升融合图像的质量，减少局部差异引起的空谱失真。

3.4 比较结果分析

为验证本文算法的融合性能，实验采用11种不同类型融合算法作为对比算法。这11种算法涵盖了遥感图像融合技术三大类算法且具有代表性。其中，分量替换融合算法有：GIHS[6]、自适应GIHS（GIHS Adaptive， GIHSA）[8]、自适应GS（GS Adaptive， GSA）[8]、自适应IHS（Adaptive IHS， AIHS）[12]、改进的AIHS（Improved AIHS， IAIHS）[5]与基于部分置换的自适应分量替换（Partial Replacement-based Adaptive Component Substitution， PRACS）方法[11]。基于多分辨率分析的融合算法有：基于局部参数估计的波段相关空间细节（Band-Dependent Spatial-Detail with local parameter estimation， BDSD）方法[31]、基于调制传递函数匹配滤波器与高通调制注入模型的广义拉普拉斯金字塔（GLP with MTF-matched filter and High-Pass Modulation injection model， MTF-GLP-HPM）方法 [13]、 加性小波亮度比例（Additive Wavelet Luminance Proportion， AWLP） 方法[32]、基于支撑值变换（Support Value Transformation， SVT）的融合方法 [33]。基于稀疏表示的融合方法有块向量归一化的两步稀疏编码方法（Two Step Sparse Coding method with Patch Normalization， PN-TSSC） [34]。本文所有对比融合方法的参数设定参考相应文献。

第一组仿真数据、参考图像与不同融合算法的融合结果如图5 所示。图5中，（a）与（b）分别表示8m空间分辨率的MS图像与2m空间分辨率的PAN图像;（c）所示为2m空间分辨率的参考HMS图像;（d）所示为GIHS方法的融合结果，它具备清晰空间分辨率，但局部区域存在光谱失真，绿色植被区域颜色失真最明显。GIHSA与GSA方法的融合结果如图5（e）与（f）所示，与GIHS方法的融合图像相比，这两幅融合图像显示出更好的颜色特征与空间质量。图5（g）～（j）所示为AIHS、IAIHS、PRACS与BDSD的融合结果。AIHS融合图像空间分辨率明显增强，细节信息清晰，光谱特征保留完整。IAIHS与PRACS方法的融合图像呈现模糊效果。BDSD方法融合图像的空间细节过锐化，且与参考图像相比，局部区域呈现非自然色彩。图5（k）～（m）所示为MTF-GLP-HPM、AWLP与SVT方法的融合结果。三幅图像具有清晰空间分辨率且光谱失真度较小，色彩自然。图5（n）所示为PN-TSSC的融合结果，其光谱特征与参考图像光谱特征相匹配，空间与光谱质量较好。本文算法融合结果如图5（o）所示，相较于参考图像与其他对比算法的融合图像，该图像的空间细节清晰，光谱特征自然，具备更好的空间与光谱质量。表1给出了图5融合图像的客观评价指标数值结果，其中：最佳数值结果标记为粗体，次最佳结果用下划线标记。从表1中可以看出，本文算法提供了最佳CC数值结果，且GIHSA给出了次最佳结果。关于RMSE与ERGAS，本文算法给出了最佳值，而PRACS方法给出了次最佳值。本文算法在RMSE与ERGAS指标上要明显优于其他融合方法。关于评价指标SAM，最佳数值结果由MTF-GLP-HPM方法给出，而次最佳数值结果由PRACS方法给出。本文算法在SAM指标上要比MTF-GLP-HPM、PRACS与SVT方法略差。本文算法给出了最佳Q4数值结果，而SVT方法给出了次最佳Q4数值结果。

第二组GeoEye-1卫星源数据、参考图像与不同算法下的融合图像如图6所示。图6中，（a）与（b）分别表示8m空间分辨率的MS图像与2m空间分辨率的PAN图像;（c）所示为2m空间分辨率的参考HMS图像。图6（d）～（n）所示依次为11种比较算法的融合结果;（o）所示为本文算法的融合图像。与参考图像相比，GIHS、GIHSA、GSA、AIHS、BDSD、MTF-GLP-HPM、SVT与PN-TSSC等方法融合图像的空间细节信息清晰，空间质量良好。IAIHS、PRACS与AWLP方法融合图像的空间细节信息不够清晰，呈现模糊效果。GIHS、GIHSA、BDSD与SVT方法的融合结果具有明显光谱失真，尤其是在绿色植被区域。而GSA、AIHS、IAIHS、PRACS、MTF-GLP-HPM与PN-TSSC方法的融合结果具有良好的光谱质量。与参考图像与其他比较算法的融合图像相比，本文算法融合图像的空间结构特征表现良好，具有较好的颜色特征信息。表2给出了图6融合图像的客观评价指标数值结果，其中：最佳数值结果标记为粗体，次最佳结果用下划线标记。从表2中可以看出，本文算法提供了最佳的CC、RMSE、ERGAS、SAM与Q4数值结果。GIHSA方法给出了次最佳CC数值结果，PRACS方法给出了次最佳RMSE与ERGAS数值结果，MTF-GLP-HPM方法给出了次最佳SAM数值结果，SVT方法给出了次最佳Q4数值结果。

第三组GeoEye-1卫星源数据、参考图像与不同算法下的融合图像如图7所示。图7中，（a）～（c）分别表示8m空间分辨率的MS图像、2m空间分辨率的全色图像与2m空间分辨率的参考HMS图像;（d）～（o）所示依次为11种比较算法的融合图像与本文算法的融合图像。与参考图像相比，GIHS方法的融合圖像因细节信息过度注入导致过锐化现象，出现光谱失真。GIHSA、GSA、BDSD、MTF-GLP-HPM、SVT与PN-TSSC方法的融合图像呈现良好的空间与光谱质量。AIHS、IAIHS、PRACS与AWLP的融合图像光谱失真较小，但呈现出全局模糊，空间细节信息不清晰。本文算法的融合图像空间细节信息丰富，结构清晰，光谱特征良好。表3 给出了图7 融合图像的客观评价指标数值结果，其中：最佳数值结果标记为粗体，次最佳数值结果用下划线标记。从表3中可以看出，本文算法给出了最佳的CC、RMSE、ERGAS、SAM与Q4数值结果。GIHSA给出了次最佳CC数值结果，IAIHS给出了次最佳SAM数值结果，SVT给出了次最佳RMSE、ERGAS与Q4数值结果。

綜合以上三组卫星遥感数据融合图像的主客观评价结果，本文算法的融合性能相较11种对比方法更优。

表1～3中同时给出了本文算法与对比算法的计算时间。从表1～3中可看出，绝大部分融合方法的计算时间要小于1s。这些方法都隶属于分量替换融合框架与多分辨率分析融合框架，且绝大部分分量替换融合算法的计算复杂度要低于多分辨率分析融合方法的计算复杂度。PN-TSSC方法与本文算法的计算时间均大于1s，且本文算法的计算时间最长。研究发现，本文算法的时间损耗主要集中在稀疏融合步骤，实现该步骤采用块处理策略，大量图像块的稀疏分解过程导致本文方法计算复杂度高。该问题可通过多核处理器并行处理来解决。

4 结语

本文针对多光谱图像与全色图像间局部空间差异引起的空谱失真问题，提出了一种改进空间细节提取方法的分量替换融合框架。首先，利用局部线性嵌入超分辨率重建技术与小波融合技术分别重构两幅高分辨率强度图像;然后，利用稀疏融合策略实现两幅高分辨率强度图像信息互补，获取一幅更高质量的强度图像，进而获得高质量空间细节图像;最后，将高质量空间细节图像应用到分量替换融合框架中，获得所需要的HMS图像。在GeoEye-1遥感数据上进行了测试，实验结果表明本文算法的融合图像主观上相较其他算法的融合图像具有更好的空间与光谱质量，而且客观上各项评价相较其他算法综合来看也是最优的。这表明本文算法能够有效地消除多光谱图像与全色图像局部空间差异的影响，进一步提高分量替换融合框架的性能。

稀疏融合步骤的高计算复杂度是导致本文算法的运行时间比传统分量替换方法和多分辨率分析方法长的主要原因。在接下来的研究工作中，我们将尝试利用多核处理器实现算法的并行运算，降低本文算法的运行时间。本文算法仅考虑通过改进空间细节提取策略来提升分量替换融合方法的性能，下一步我们将研究空间细节注入模型，进一步提升分量替换融合方法的性能。

参考文献 （References）

[1]THOMAS C， RANCHIN T， WALD L， et al. Synthesis of multispectral images to high spatial resolution：
a critical review of fusion methods based on remote sensing physics [J]. IEEE Transactions on Geoscience and Remote Sensing， 2008， 46 （5）：
1301-1312.

[2]LI S， KANG X， FANG L， et al. Pixel-level image fusion：
a survey of the state of the art [J]. Information Fusion， 2017， 33：
100-112.

[3]吴宗骏，吴炜，杨晓敏，等.改进的基于稀疏表示的全色锐化算法[J].计算机应用，2019，39（2）：540-545.（WU Z J， WU W， YANG X M， et al. Improved panchromatic sharpening algorithm based on sparse representation [J]. Journal of Computer Applications， 2019， 39（2）：
540-545.）

[4]LONCAN L， DE ALMEIDA L B， BIOUCAS-DIAS J M， et al. Hyperspectral pansharpening：
a review [J]. IEEE Geoscience and Remote Sensing Magazine， 2015， 3（3）：
27-46.

[5]LEUNG Y， LIU J， ZHANG J. An improved adaptive intensity-hue-saturation method for the fusion of remote sensing images [J]. IEEE Geoscience and Remote Sensing Letters， 2014， 11（5）：
985-989.

[6]TU T， HUANG P， HUNG C， et al. A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery [J]. IEEE Geoscience and Remote Sensing Letters， 2004， 1（4）：
309-312.

[7]CHOI M. A new intensity-hue-saturation fusion approach to image fusion with a tradeoff parameter [J]. IEEE Transactions on Geoscience and Remote Sensing， 2006， 44（6）：
1672-1682.

[8]AIAZZI B， BARONTI S， SELVA M. Improving component substitution pansharpening through multivariate regression of MS+Pan data [J]. IEEE Transactions on Geoscience and Remote Sensing， 2007， 45（10）：
3230-3239.

[9]WANG W， JIAO L， YANG S. Novel adaptive component-substitution-based pan-sharpening using particle swarm optimization [J]. IEEE Geoscience and Remote Sensing Letters， 2015， 12（4）：
781-785.

[10]GHANREMANI M， GHASSEMIAN H. Nonlinear IHS：
a promising method for pan-sharpening [J]. IEEE Geoscience and Remote Sensing Letters， 2016， 13（11）：
1606 -1610.

[11]CHOI J， YU K， KIM Y. A new adaptive component-substitution-based satellite image fusion by using partial replacement [J]. IEEE Transactions on Geoscience and Remote Sensing， 2011， 49（1）：
295-309.

[12]RAHMANI S， STRAIT M， MERKURJEV D， et al. An adaptive IHS pan-sharpening method [J]. IEEE Geoscience and Remote Sensing Letters， 2010， 7（4）：
746-750.

[13]VIVONE G， ALPARONE L， CHANUSSOT J， et al. A critical comparison among pansharpening algorithms [J]. IEEE Transactions on Geoscience and Remote Sensing， 2015， 53（5）：
2565-2586.

[14]JOSHI M V， BRUZZONE L， CHAUDHURI S. A model-based approach to multiresolution fusion in remotely sensed images [J]. IEEE Transactions on Geoscience and Remote Sensing， 2006， 44（9）：
2549-2562.

[15]UPLA K P， JOSHI M V， GAJJAR P P. An edge preserving multiresolution fusion：
use of contourlet transform and MRF prior [J]. IEEE Transactions on Geoscience and Remote Sensing， 2015， 53（6）：
3210-3220.

[16]HARIKUMAR V， GAJJAR P P， JOSHI M V， et al. Multiresolution image fusion：
use of compressive sensing and graph cuts [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2014， 7（5）：
1771-1780.

[17]PALSSON F， SVEINSSON J R， ULFARSSON M O. A new pansharpening algorithm based on total variation [J]. IEEE Geoscience and Remote Sensing Letters， 2013， 11（1）：
318-322.

[18]LIU P， XIAO L， ZHANG J， et al. Spatial-Hessian-feature-guided variational model for pan-sharpening [J]. IEEE Transactions on Geoscience and Remote Sensing， 2015， 54（4）：
2235-2253.

[19]LI S， YANG B. A new pan-sharpening method using a compressed sensing technique [J]. IEEE Transactions on Geoscience and Remote Sensing， 2011， 49（2）：
738-746.

[20]LI S， YIN H， FANG L. Remote sensing image fusion via sparse representations over learned dictionaries [J]. IEEE Transactions on Geoscience and Remote Sensing， 2013， 51（9）：
4779-4789.

[21]WANG W， JIAO L， YANG S. Fusion of multispectral and panchromatic images via sparse representation and local autoregressive model [J]. Information Fusion， 2014， 20：
73-87.

[22]WANG W， JIAO L， YANG S， et al. Distributed compressed sensing-based pan-sharpening with hybrid dictionary [J]. Neurocomputing， 2015， 155：
320-333.

[23]ZHU X X， BAMLER R. A sparse image fusion algorithm with application to pan-sharpening [J]. IEEE Transactions on Geoscience and Remote Sensing， 2013， 51（5）：
2827-2836.

[24]HAN C， ZHANG H， GAO C， et al. A remote sensing image fusion method based on the analysis sparse model [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2016， 9（1）：
439-453.

[25]ZHU X， GROHNFELDT C， BAMLER R. Exploiting joint sparsity for pansharpening：
the J-SparseFI algorithm [J]. IEEE Transactions on Geoscience and Remote Sensing， 2016， 54（5）：
2664-2681.

[26]JIANG C， ZHANG H， SHEN H， et al. Two-step sparse coding for the pan-sharpening of remote sensing images [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2014， 7（5）：
1792-1805.

[27]ROWEIS S T， SAUL L K. Nonlinear dimensionality reduction by locally linear embedding [J]. Science， 2000， 290（5500）：
2323-2326.

[28]ZHANG Y， HONG G. An IHS and wavelet integrated approach to improve pan-sharpening visual quality of natural colour IKONOS and QuickBird images [J]. Information Fusion， 2005， 6（3）：
225-234.

[29]YANG B， LI S. Pixel-level image fusion with simultaneous orthogonal matching pursuit [J]. Information Fusion， 2012， 13（1）：
10-19.

[30]PALSSON F， SVEINSSON J R， ULFARSSON M O， et al. Quantitative quality evaluation of pansharpened imagery：
consistency versus synthesis [J]. IEEE Transactions on Geoscience and Remote Sensing， 2015， 54（3）：
1247-1259.

[31]GARZELLI A， NENCINI F， CAPOBIANCO L. Optimal MMSE pan sharpening of very high resolution multispectral images [J]. IEEE Transactions on Geoscience and Remote Sensing， 2008， 46（1）：
228-236.

[32]NUNEZ J， OTAZU X， FORS O， et al. Multiresolution-based image fusion with additive wavelet decomposition [J]. IEEE Transactions on Geoscience and Remote Sensing， 1999， 37（3）：
1204-1211.

[33]ZHENG S， SHI W， LIU J， et al. Remote sensing image fusion using multiscale mapped LS-SVM [J]. IEEE Transactions on Geoscience and Remote Sensing， 2008， 46（5）：
1313-1322.

[34]JIANG C， ZHANG H， SHEN H， et al. Two-step sparse coding for the pan-sharpening of remote sensing images [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2014， 7（5）：
1792-1805.

This work is partially supported by the National Natural Science Foundation of China （61703334）， the China Postdoctoral Science Foundation （2016M602942XB）， the Natural Science Basic Research Plan of Shaanxi Province （2017JQ6050）， the Key Research and Development Program of Shaanxi Province （2018ZDXM-GY-089）.

WANG Wenqing， born in 1986， Ph. D.， lecturer. His research interests include remote sensing image processing and interpretation， intelligent information processing， machine learning.

LIU Han， born in 1972， Ph. D.， professor. His research interests include modeling and control of complex industrial process， machine learning， artificial intelligence， intelligent information processing.

XIE Guo， born in 1982， Ph. D.， professor. His research interests include intelligent information processing， intelligent rail transit， data analysis， fault diagnosis.

LIU Wei， born in 1982， Ph. D.， lecturer. His research interests include computer vision.

收稿日期：2019-06-24;修回日期：2019-09-11;錄用日期：2019-09-25。基金项目：国家自然科学基金资助项目（61703334）;中国博士后科学基金资助项目（2016M602942XB）;陕西省自然科学基础研究计划项目（2017JQ6050）;陕西省重点研发计划项目（2018ZDXM-GY-089）。

作者简介：王文卿（1986—），男，山东莱芜人，讲师，博士，CCF会员（No.76518M），主要研究方向：遥感影像处理与解译、智能信息处理、机器学习;刘涵（1972—），男，陕西西安人，教授，博士，主要研究方向：复杂工业过程建模与控制、机器学习、人工智能、智能信息处理; 谢国（1982—），男，湖北当阳人，教授，博士，主要研究方向：智能信息处理、智能轨道交通、数据分析、故障诊断; 刘伟（1982—），男，陕西汉中人，讲师，博士，主要研究方向：计算机视觉。

文章编号：1001-9081（2019）12-3650-09 DOI：10.11772/j.issn.1001-9081.2019061063