最新综述 | 武大等团队系统梳理面向高光谱视频目标跟踪的深度学习方法, 并开展大规模对比实验

题目：Deep Learning for Hyperspectral Video Object Tracking

论文：https://ssrn.com/abstract=6802779

年份：2026

单位：武汉大学、东京大学、斯坦福大学、格里菲斯大学、中南大学、杜克大学、太平洋西北国家实验室

创新点

• 首次系统梳理了面向高光谱视频目标跟踪（HVOT）的深度学习方法，覆盖从RGB跟踪基础到多模态跟踪再到高光谱专用设计的完整技术脉络。
• 提出了统一的HVOT方法分类体系，从提示学习、波段域差异适应、时序信息挖掘、跟踪器原型四个互补维度对现有方法进行系统组织。
• 在六个主流基准（HOTC20/23/24、MSVT、MSSOT、MUST）上对80余个跟踪器进行大规模对比实验，建立了基准参照。
• 系统揭示了HVOT的持续性瓶颈，并围绕数据基础设施、深度跟踪器设计、实用部署与可解释鲁棒系统四个方向提出了未来研究路线。

引言

高光谱成像能够同时捕获空间结构与密集光谱特征，其材料属性响应曲线在目标伪装、低对比度及复杂背景下仍能提供有效的判别信息，这使高光谱视频目标跟踪（HVOT）成为计算机视觉与遥感领域的研究热点。然而，现有研究分散于RGB迁移、多模态跟踪和高光谱专用方法等方向，缺乏系统性综述与横向比较。本文聚焦深度学习驱动的HVOT，归纳了跨波段域差异、光谱碎片化与时序建模不足等核心挑战，明确了综述的研究范围与组织结构。

RGB视频跟踪范式与数据集综述

DCF跟踪

• 特征表示：从手工特征（HOG、Color Names）演进至深度特征（VGG、ResNet）及端到端学习特征，判别能力逐步增强
• 边界效应：通过空间正则化与背景感知采样（SRDCF、BACF、CSRDCF等）缓解循环采样引入的伪影
• 状态估计：多分辨率尺度搜索与判别式尺度空间滤波器（DSST）解耦平移与尺度估计

Siamese网络跟踪

• 将跟踪建模为相似度学习，从SiamFC演化出RPN回归、全卷积（SiamFC++）、注意力融合等变体
• 模板更新机制与多尺度回归是提升长时鲁棒性的关键

Transformer跟踪

• TransT、OSTrack等以自注意力建立全局模板-搜索区域关联，ViT主干进一步推动大规模预训练跟踪范式
• 全Transformer架构与One-Stream设计（如OSTrack）实现特征提取与交互的统一

RNN、GAN及其他结构

• RNN/LSTM引入显式时序建模，GAN用于数据增强与样本合成，图神经网络（GNN）建模目标部件关系

RGB跟踪数据集

• 涵盖OTB、LaSOT、TrackingNet、GOT-10k、VOT系列等主流基准，提供标准化评测协议与属性标注

HVOT跟踪方法与数据集综述

提示学习（缓解数据稀缺）

• 核心思路：冻结预训练RGB跟踪骨干，通过轻量级提示模块（视觉提示调优、适配器）实现域适应，避免在小规模高光谱数据上全量微调导致的过拟合
• 代表方法：BAE-Net、SST-Net、HA-Net、PHTrack、ViPT等

波段域差异适应

• 直接高光谱建模：设计波段注意力、波段选择网络，从高维数据中自动筛选判别性波段（SiamBAG、BABS等）
• 假彩色转换：将高光谱压缩为三通道伪彩色图像，复用成熟RGB跟踪骨干（DeepHKCF、HELIOS等），兼顾效率与通用性

时序信息挖掘

• 非显式时序建模：依赖逐帧相似度匹配与模板更新，隐式利用相邻帧信息
• 显式时序推理：引入RNN/LSTM、时序注意力或记忆机制对跨帧轨迹连续性建模，提升遮挡与快速运动下的稳定性（SSTtrack、TCTrack等）

跟踪器原型

• Siamese原型扩展：在SiamFC框架上融入空谱注意力、多模态分支等高光谱定制模块（CBFF-Net、TBR-Net、MMF-Net等）
• Transformer原型扩展：将TransT等注意力跟踪器迁移至HSP域（Trans-HST、MMFT、ProFiT等）
• 分类回归设计：借鉴SiamCAR等回归框架，结合高光谱特征进行目标定位（PHTrack、DT-DBW等）

HVOT数据集

• HOTC20/23/24：多模态（NIR、RedNIR、VIS）竞赛基准，提供逐年演进的评测协议
• MSVT / MSSOT：ISPRS发布，高分辨率多光谱视频，覆盖多种场景属性
• MUST：CVPR 2025发布，250个序列，包含12种属性挑战，是目前规模最大的多光谱跟踪数据集之一
• BihoT / BihoT-130K-TRA：TPAMI 2025，超过12万帧，支持大规模训练评测

实验与分析

实验设置

• 在HOTC20、MSVT、MSSOT、MUST、HOTC23、HOTC24六个基准上评测80余个跟踪器
• 评价指标包括精度（Precision, Pre）和成功率（Success, Suc），并分属性进行细粒度分析

定量结果分析

• 横向对比：涵盖手工RGB方法、深度RGB方法与高光谱专用方法三类，系统呈现各方法在不同数据集与属性下的表现差异
• 精度-速度权衡：现有最优HSP跟踪器平均帧率约19 FPS，距实时要求（25 FPS）仍有差距，速度与精度难以兼顾

定性结果分析

• 可视化展示了代表性跟踪器在伪装、遮挡、快速运动等典型困难场景下的跟踪轨迹，揭示了不同方法的失效模式

第五章：讨论与展望

数据基础设施

• 推动协作标注与数据扩充，构建大规模、多场景的高光谱视频数据集
• 建立统一评测协议，支持跨数据集、跨传感器的可复现比较

表示学习与跟踪算法

• 发展更强的空谱联合表示，探索基于大规模预训练基础模型的高光谱域迁移
• 设计轻量化Transformer与参数高效融合机制，兼顾实时部署需求

实用部署与统一感知

• 面向边缘设备的高效推理框架是当前亟待突破的工程瓶颈
• 探索高光谱视频理解的统一感知范式，将跟踪与检测、分割等任务有机融合

可解释性与鲁棒系统

• 引入不确定性感知与失效检测机制，提升系统在极端场景下的可靠性
• 构建可解释的光谱特征归因方法，增强模型在科学应用中的可信度

结论

综合实验揭示，基于Transformer与大规模预训练的方法整体性能领先，但高光谱视频目标跟踪在数据稀缺、跨域光谱差异与实时部署等方面仍存在根本性瓶颈，是一个尚未解决的开放问题。