基于相位一致性的几何结构重构。基于相位一致性(phase congruency,PC)模型[+5],2017年,文献[46]提出了著名的方向PC直方图(histo-gram of oriented PC,HOPC)算法,是此类算法中最经典的方法之一。HOPC的提出深受定向梯度直方 图(histogram of oriented gradients, HOG)算法的启发。HOG是一种基于梯度的行人检测算法,而HOPC首次将其框架引入多模态遥感影像匹配任务。由于PC模型具有光照和对比度不变性,HOPC使用PC模型代替梯度计算。“PC模型更适用于多模态遥感影像匹配”这一观点对后续许多算法产生了深远影响。在算法层面。HOPC实现了PC模型的扩展,给出了一种计算PC方向的方法,并以此取代了方向梯度。在此基础之上,文献[48]提出了一种用于光学和SAR影像匹配的相位一致性结构描述子(phase con-gruency structural descriptor, PCSD)算法。 为了抵御相干斑噪声对特征检测的影响,PCSD引人了基于非线性扩散的Harris角点检测器[,该检测器能够检测到许多分布均匀的显著特征。在描述向量生成过程中,PCSD结合非线性扩散和PC建模以获取多个PC结构影像,并按照类似于LSS的模式为每个影像窗口构建模板信息。 然而,上述影像模板均基于稀疏网格构建,对跨模态细微几何结构的表征能力仍显不足为此,相关研究逐步转向逐像素密集采样的模板设计,以进一步提升结构表征的精度。
密集采样表征的初步引人。文献[50]提出了经典的密集结构化影像模板,即方向梯度通道 特 E (channel feature of oriented gradients.CFOG)。CFOG通过高斯核卷积优化梯度通道.以增强边缘响应,并首次采用逐像素密集采样模式取代传统的稀疏网格,从而精细化捕获跨模态影像结构;同时,该方法引人快速傅里叶变换,在频域内加速相似性测度的计算,实现了高维结构特征的高效捕获与快速定位。CFOG的出现标志着模板设计由稀疏采样转向稠密采样,将多模态影像模板匹配的精度和效率推至新的高度,并进一步激发了许多相关方法。
加权与多尺度、多方向拓展。文献[51]提出了角度加权方向梯度(angle-weighted orientedgradients,AWOG)影像模板。该方法基于梯度方向将幅值加权分配至两个最相关预设方向,进一步提升密集采样对复杂结构的表征能力;同时,采用去归一化三维相位相关作为相似性度量,实现同名点快速识别。AWOG的匹配性能优于CFOG,尤其是在纹理丰富区域,其效果更优。文献[52]提出了多尺度、多方向奇对称Gabor模 (multi-scale and multi-directional features of oddGabor,SDFG)。SDFG通过奇对称Gabor 滤波器提取梯度信息,同时结合高斯卷积抑制噪声,相比传统梯度计算更能保留结构细节,并采用三维相位相关匹配提升速度与鲁棒性。然而,其局限性在于依赖显著结构特征,当影像缺乏轮廓信息时,性能明显下降。
高阶信息融合与效率优化。为同时兼顾宏观轮廓与微观细节,文献[53]进一步拓展出一二阶可调通道模板(steerable filters of first-andsecond-order channels,SFOC)。 SFOC通过融合二阶梯度实现了地物边缘捕获与微观细节增强的协同优化,结合多尺度策略构筑多通道特征表达,以全面抵抗剧烈的NRD与噪声干扰。在匹配阶段,SFOC将传统NCC度量与快速傅里叶变换及积分影像技术无缝结合,在保持极高匹配精度的同时,降低了算法的空间与时间复杂度。
稠密表征与阶段式搜索空间。早期研究主要聚焦于利用全卷积网络重构特征度量空间。文献[80]提出深度稠密特征网络(deep dense features network,DDFN),针对光学-SAR影像匹配设计7层卷积Siamese网络,每层采用3X3卷积核,后接批归一化与线性整流激活函数,输出9层像素级稠密影像特征,以保持输入影像空间分辨率,基于误差平方和度量计算相似性得分,并通过快速傅里叶变换技术在频域加速匹配过程。为了解决无初始定位时全图窗口搜索导致的计算负荷大、误匹配率高的问题,文献[81]开发了一种三阶段递进式深度学习匹配架构。首先,利用评价网络自适应识别影像中富含显著跨模态共性结构的区域,大幅压缩候选搜索范围;其次,在感兴趣区域内利用对应网络提取影像多尺度特征信息,深度融合浅层高分辨率几何细节与深层强语义模板,并借由特征空间互相关计算实现高精度匹配得分获取;最后,通过误匹配剔除网络净化几何拓扑关联,输出高可靠性的匹配结果。
分层交叉映射与多级语义嵌人。基于分层式交互表征的思路,文献[87]提出了一种基于分层提取实现匹配的变换器模型MatchFormer通过利用自注意力进行特征提取、交叉注意力进行特征匹配,MatchFormer实现了一种符合人类直觉的提取与匹配方案。该模型在分层架构中整合多尺度特征的自注意力与交叉注意力,进步提升了匹配鲁棒性。 全流程语义引导。文献[88]提出了一种以语义引导全局(semantics to lead all,SemLA)的网络,用于红外与可见光影像的级联匹配、对齐及融合。SemLA的核心思想是将语义信息嵌人神经网络的每个阶段,生成的语义感知图与空间结构信息的描述相结合,以实现精准匹配。
交互式金字塔与跨模态知识蒸馏。以动态窗口调制为基础,文献[89]提出了基于模态自适应特征调制与稀疏变换器融合的跨模态图像E 方法(cross-modal image matching with mod-al-adaptive feature modulation and sparse transformer fusion, CM2-STNet). CM2-STNet 在特征提取阶段采用多尺度特征金字塔结合交互式SwinTransformer模块,通过动态窗口划分策略实现跨模态特征交互;在匹配阶段设计3级分层策略:粗匹配通过双向Softmax置信度矩阵筛选候选点,精匹配采用局部窗口特征与双向注意力优化位置,亚像素优化通过回归卷积块预测残差,并结合多级监督损失增强模型对NRD与复杂几何畸变的鲁棒性异构教师集群知识蒸馏。文献[90]提出跨模态影像匹配的高效模态不变网络(efficient modality-invariant network, EMINet), EMINet 用知识蒸馏框架,通过教师网络(包括无标签自蒸馏语义编码器、SuperPoint关键点检测器和SuperGlue图匹配器[a),与轻量级学生网络一18层残差骨干网络,进行协同训练实现模态不变特征学习,其核心创新包括语义窗口关系蒸馏,通过教师网络提取多模态影像块间语义关联特征指导学生网络建立跨模态窗口对应关系以增强判别力,跨三元组描述子蒸馏强制学生学习模态不变描述符,以解决NRD导致的特征偏移以及多级监督训练策略。
匹配数量与有效性指标。多模态遥感影像协同处理任务中,算法输出的正确匹配点对的数量与比例直接决定了后续几何模型平差求解的可靠性。 正确匹 数(number of correct matches,NCM):匹 点 总数 (number of total matches,NTM)表示完成算法输出的点对总数,NCM则指通过预设误差容忍阈值验证为真实同名点的集合规模,通常在遥感任务中设定为1.5~3像素。