2024 年 3 月 4 日，SciLifeLab（团队详情在文末）在《Nature Methods 》上见刊了一篇题为“Spatial landmark detection and tissue registration with deep learning”的研究论文，其中指出空间地标在描述样本或位点间的组织学特征、追踪显微镜中的感兴趣区域，以及将组织样本配准到通用坐标框架（CCF）中至关重要。尽管已有研究探索了无监督地标检测，但现有方法并不适用于组织学图像数据——它们通常需要大量图像才能收敛、无法处理组织切片间的非线性形变，且在z-stack（z轴堆叠）对齐、图像数据以外的其他模态数据或多模态数据处理中效果不佳。为解决这些挑战，作者提出了“便捷地标检测（ELD）”方法，这是一种基于神经网络引导薄板样条（TPS）的新型无监督地标检测与配准方法。作者在包括组织学和空间分辨转录组学在内的多种数据集上对该方法进行了评估，结果表明，与现有方法相比，其在准确性和稳定性方面均表现更优（文章较长（可到总结-概述-分析方法最后部分）文章数据分析复现代码实例在文末）。
注：本文涉及的公式及函数可以直接复制公式到LaTeX编辑器查看具体公式，我这边推荐：(https://arachnoid.com/latex/或 https://www.quicklatex.com/)🤓🤓
简介
空间地标在生物技术的多个领域都有应用价值。例如，在比较不同位点或样本间的组织学异质性时、追踪显微镜中的感兴趣区域时，或在组织样本配准并将其转换到通用坐标框架（CCF）时，空间地标都发挥着重要作用。获取空间地标的方式包括实验标记、显微镜技术，以及基于软件的手动或半自动标注等。然而，定位空间地标过程耗时费力，已成为空间组学数据分析的瓶颈。实现该过程的自动化，不仅能提升大规模空间组学实验的可扩展性，还能避免对人工整理标注的依赖。研究人员已尝试利用计算机视觉中的深度学习技术实现空间地标检测自动化，并在有监督和无监督场景中均取得了一定成果。无监督方法的应用前景更广阔，因为它能解决带标注地标数据集普遍短缺的问题，在多样化的空间组学领域尤其如此。这类无监督算法通常包含两个部分：一是在图像中识别地标的地标检测器网络，二是利用地标引导图像配准的生成模型。
尽管这些模型在特定任务和生物学应用中展现出潜力，但要将其广泛应用于组织相关数据集，仍需克服三大挑战：（1）数据集规模有限：深度学习技术通常需要海量数据集（有时需10万个训练样本）才能识别通用模式并避免过拟合，但多组学研究中的训练样本往往不足10个；（2）非线性变换：现有方法主要聚焦于简单仿射变换（如旋转、缩放、平移）相关的数据集，但在生物学场景中，研究人员常需结合弹性变换和刚性变换才能整合多幅图像；（3）多模态数据处理：方法需能处理不同模态的数据（如组织学染色图像、空间分辨转录组学数据、质谱成像（MSI）数据），并实现多模态数据的同步处理。
基于Sanchez等人的研究，作者提出了便捷地标检测（ELD）方法以应对上述挑战。该方法通过地标检测器网络实现地标识别，并利用薄板样条（TPS）实现精确图像配准，无需依赖生成模型。本研究中，作者重点验证了ELD在多种应用场景下的性能，包括单模态数据配准、三维（3D）建模和多模态数据对齐。在单模态数据配准方面，作者证实ELD在多种模态（如Visium空间转录组数据、苏木精-伊红染色（H&Estain）图像、原位测序（ISS）数据）中均具有更高的稳定性和效率，且在多项测试中表现优于其他地标检测模型；在3D建模方面，在小鼠前列腺数据集上，与其他8种配准模型相比，ELD的配准指标显著提升，充分体现了其优势；最后，作者证实ELD能成功对Visium与H&E数据、Visium与MSI数据进行同步建模，表明其可学习与模态无关的地标，实现多模态数据集的整合。此外，ELD采用无监督方式，无需人工标注，且几乎无需参数调优，大幅简化了操作流程。
结果概况
ELD与现有方法的基准对比
通过对模型添加约束（如减少每层神经元数量、减少网络层数、引入丢弃层（drop-out）、在损失函数中添加正则化项），可设计出更适用于小训练数据集的深度神经网络。在ELD中，作者参考Sanchez等人的方法，通过移除生成网络、保留地标检测网络来约束解空间。确定图像地标后，可通过基于地标的方法（如单应性变换、薄板样条（TPS））轻松实现配准。考虑到本研究数据中变换的弹性特征，作者选择TPS进行配准。这些方法具有多项优势：可学习参数更少（硬约束），且计算效率高于大型深度神经网络。ELD与现有方法的核心区别在于对齐思路。传统方法通过生成式深度神经网络实现对齐，在小数据集场景下，这种方式会生成随机且不一致的地标。这些地标本质上仅作为“标识符”，虽能被生成网络记忆并实现图像对齐，但缺乏有意义的对应关系和一致性；而ELD采用解析可解的TPS，由于TPS不具备记忆能力，可避免地标检测器生成图像特异性标识，从而迫使地标检测器在不同组织切片中识别出一致的地标。此外，现有方法通常仅适用于含线性噪声的pairwise（成对）图像对齐，而ELD拓展了这一能力——它可处理更复杂的场景（如高维数据（如Visium数据）、3D对齐、多模态数据），这些场景均需新的、更复杂的优化启发式算法（详见“方法”部分）。
图1：ELD框架概述。图1展示了获取空间地标并将切片在通用坐标框架（CCF）内对齐的拟议流程，具体步骤如下：a.获取两个待识别地标的切片（A和B）；b、c.通过训练后的无监督空间地标检测网络（b）或人工标注（c），获取两个切片的地标；d.获得两个样本的地标后，通过TPS、单应性变换等多种基于地标的对齐方法，将切片B配准到切片A；e.得到配准后的样本（切片B与切片A对齐）；f.将样本映射到CCF，实现切片间的比较与分析。
将组织切片对齐到通用坐标框架（CCF）的流程如下（图1）：首先，ELD系统通过无监督训练的空间地标检测网络定位目标组织切片上的地标，也可采用人工标注的地标；在所有切片上确定这些关键地标后，ELD通过基于地标的对齐技术（如TPS或单应性变换）实现区域对齐；最后，ELD将所有对齐后的组织区域投影到CCF中，为不同切片的比较研究提供支持。本研究中，作者采用标准误差指标评估ELD与另外两种最先进地标检测方法的性能，包括前向误差、后向误差和一致性误差。基准测试以CelebA数据集为训练集，以MAFL和AFLW数据集为测试集——这三个数据集常用于此类任务。
图2：ELD的基准性能。图2a-d展示了ELD与另外两种最先进地标检测模型的基准性能，测试基于MAFL（1000个样本）和AFLW（2991个样本）数据集。其中：a.每幅图像的平均一致性误差分布；b.每个地标的一致性误差分布；c.每幅图像的后向误差；d.每幅图像的前向误差。箱线图中，中线代表中位数，箱体代表四分位距（25%~75%分位数），须代表箱体上下1.5倍四分位距的范围。
一致性误差通过几何一致性评估地标的稳定性，计算步骤如下：（1）检测图像中的地标，并对地标进行仿射变换；（2）对原图像执行相同的仿射变换，然后检测变换后图像中的地标；通过比较两组地标的点到点距离，得到一致性误差。结果显示，ELD的一致性显著优于其他方法（图2a）。进一步分析发现，性能差异主要源于其他方法常识别出严重错位的地标（图2b）：尽管多数地标具有一致性，但这些异常值导致其他方法的平均误差远高于ELD。
图3：运行时间分析。图3a-b展示了收敛所需时间（单位：分钟）与变量的关系：a.地标数量固定为10时，收敛时间与基因数量或颜色通道数的关系；b.通道数固定为3时，收敛时间与地标数量的关系。
前向误差的计算方式为：通过手动标注点集和检测到的地标训练线性回归模型，利用训练后的回归器根据检测地标预测标注点；后向误差则通过反向训练的线性回归模型计算——即利用标注地标预测检测地标。后向误差可反映检测地标稳定性：前向误差低但后向误差高的模型，其检测的稳定地标数量较少；后向误差低但前向误差高的模型，易收敛到与输入图像无关的固定点集。结果显示，ELD的后向误差显著低于其他方法（图2c），这是因为其他方法检测的地标存在不一致性；尽管所有模型的前向误差均优于后向误差，但ELD的前向误差略低（图2d），这表明ELD在牺牲少量泛化能力的同时，大幅提升了一致性。作者通过两项测试评估ELD的运行时间需求：一是基因数量或图像通道数变化时的运行时间（图3a），二是地标数量变化时的运行时间（图3b）。如“方法”部分所述，本研究的收敛准则较为严格，但在实际应用中，模型通常能更快收敛。
单模态数据的性能评估
目前已有公开可用的Visium数据有效配准方法Eggplant，但该方法的局限性在于依赖人工空间地标标注。因此，作者接下来测试ELD生成的空间地标能否替代人工标注，并提升Eggplant的性能。作者利用Eggplant，将小鼠嗅球中三种具有独特表达模式的目标基因（Nrgn、Apoe、Omp）的基因表达量，通过人工检测地标或自动检测地标（ELD生成）转移到参考切片中。结果显示，ELD生成的地标所得到的结果，准确性至少与人工标注地标相当（图4a、4b）。本实验使用12个小鼠嗅球样本，参考切片与Eggplant所用一致；无论通过组织学数据，还是通过3个或100个基因的表达数据识别地标，结果均保持一致。
图4：单模态数据的性能。图4a.ELD在不同模态（组织学数据、Visium数据）中训练得到的地标，以及用于对比的人工标注地标图像；最右侧含100个基因的图像通过主成分分析（PCA）可视化，但训练过程使用了所有基因；所有实验均使用14个地标。图4b.小提琴图展示10个配准样本与参考样本中3个目标基因（Nrgn、Apoe、Omp）的相关性；小提琴图中，白点代表中位数，箱体代表四分位距（25%~75%分位数），须代表箱体上下1.5倍四分位距的范围。图4c.ELD与STAlign在ISS数据配准质量上的视觉对比。图4d.基于3个样本，评估k近邻模型对不同解剖区域的预测准确性。图4e.ELD在ISS数据聚类生成的RGB图像上预测的地标。
作者采用Salas等人研究中的3个小鼠脑冠状切片，验证ELD与ISS数据的兼容性。实验中，作者使用ISS数据聚类得到的RGB（红、绿、蓝）图像（图4e），并通过TPS实现最终配准。为评估配准效果，作者训练了基于参考切片的简单k近邻模型，观察其对配准后样本中解剖区域的预测准确性。将ELD与STAlign（在ISS数据对齐中表现出潜力的方法）对比发现，在两个重复实验中，ELD的准确性均更高（图4d）。
三维建模
为实现多组织切片堆叠（堆叠轴方向上形态可能发生显著变化）的对齐，作者对ELD进行改进，使其生成锚点而非地标。整体流程如图5a所示。简而言之，z-stack对齐的最大差异在于对变换后组织面积变化的控制——这使得地标更像具有固定xy坐标的锚点，而非识别共同形态（图5c）。
图5：ELD的3D组织重建。图5a.3D建模流程示意图：i.从组织堆叠中随机选择一幅参考图像，选择特定组织并生成含形变的对应组织，以模拟变异或扭曲；ii.检测参考图像、源组织（含形变版本）的地标，利用TPS将形变后的源图像映射到参考图像，完成对齐；iii.计算映射后含噪声源图像与原始源图像的相似性损失，比较TPS与刚性变换映射的源图像面积变化，然后通过TPS和刚性变换将原始源图像与参考图像对齐；iv.对堆叠中的所有组织重复上述过程，直至收敛，最终将所有组织映射到参考图像。图5b.利用ELD实现最终配准的演示（含260个前列腺样本的堆叠），所有结果均通过人工地标对齐的结果（记为1）进行归一化。图5c.260个前列腺样本中，带锚点的对齐组织与人工标注的对比；实验使用20个地标。图5d.ELD与其他模型的性能对比（基于260个前列腺样本），指标为目标配准误差（TRE）和累积目标配准误差（ATRE）；结果通过人工地标对齐的结果（记为1）进行归一化。图5e.z-stack中4个切片的人工对齐与ELD对齐的绝对误差对比。
为评估ELD的3D对齐性能，作者采用Kartasalo等人研究中的小鼠前列腺数据集（含260个切片）。该数据集包含两名标注者对每对连续切片中4个对应地标的标注结果，作者同时使用其公开代码生成结果。由于所有方法的多数基准指标相似，且图像预处理方式不同，均方根误差（r.m.s.e.）难以公平比较。因此，作者仅展示与地标相关的基准指标——目标配准误差（TRE）和累积目标配准误差（ATRE）。TRE为点的实际位置与预测位置间的欧氏距离，计算对象为未参与配准过程的点（又称“目标点”），需对每对连续切片进行计算；ATRE为所有组织切片的累积TRE，可反映所有目标点在配准任务中的总误差。作者采用TRE和ATRE的均值，并通过人工标注地标配准的结果进行归一化（图5d）。结果显示，尽管ELD的TRE与其他方法相当，但其ATRE显著优于其他方法，表明ELD在整个组织体积内的对齐一致性更高。作者共对比了8种其他配准模型，其中7种来自Kartasalo等人的研究，1种为CODA。最终的3D对齐结果如图5b所示。
多模态数据的性能评估
ELD可实现不同模态组织数据的地标检测与对齐。为优化两种不同模态间的对齐效果，作者为每种模态单独设计地标检测器。训练过程中，从两种模态中随机选取样本，将一个样本配准到另一个样本，并在由地标检测器得到的latent（潜在）空间中评估对齐效果（图6a）。作者采用人类发育心脏数据集（含4个样本），验证ELD对两种不同模态组织的对齐能力。其中两个样本使用组织学图像，另外两个样本通过Visium表达数据中的MYH6、ELN、MYH7基因构建图像。两种模态的检测地标如图6b所示。
图6：ELD的多模态对齐基准。图6a.多模态数据配准流程概述：i.两种模态（A和B）分别通过各自的地标检测器，保存模态A的潜在表示；ii.在热力图中，通过“空间argmax操作”（即定位每个热力图中强度最高的像素）识别地标，然后对两种模态的样本进行配准；iii.获取模态B的潜在表示；iv.最大化模态A与模态B潜在表示的相似性——这是训练过程的关键优化目标，需同时实现两个目标：一是确保地标检测器识别跨模态的对应地标，实现精确配准；二是将两种模态嵌入到共同的潜在空间中；通过在损失函数中最小化模态潜在表示的距离，逐步优化上述两个目标。图6b.基因表达图像与组织学图像的检测地标；左上角图像为MYH6、ELN、MYH7基因的表达情况；本实验使用16个地标。图6c.利用Eggplant评估人工标注地标与ELD检测地标的对齐性能（3个样本配准到1个目标样本）；小提琴图中，白点代表中位数，箱体代表四分位距（25%~75%分位数），须代表箱体上下1.5倍四分位距的范围。图6d.MSI和Visium数据的PCA可视化及各自的地标（数据来源于3个小鼠纹状体样本）。
为基准化ELD的性能，作者随机选取一个样本作为参考，然后利用Eggplant计算源样本与参考样本的相关性（分别使用ELD检测的地标和人工标注的地标）。结果显示，自动检测的地标与人工标注的地标性能相当（图6b、6c）。为进一步验证ELD对不同模态数据的建模灵活性，作者将其应用于MSI和Visium数据的主成分分析（PCA）嵌入。该数据来源于Vicari等人研究中的3个小鼠纹状体样本，每个样本均同时包含MSI和Visium数据。结果显示，生成的地标在不同切片间具有定性一致性，且能标记出具有生物学意义的解剖学特征（图6d）。
讨论
本研究提出了无监督空间地标检测与配准方法ELD，可解决空间组学和组织学图像数据中常见的小数据集、非线性变换等挑战。ELD采用神经网络引导的薄板样条（TPS），在准确性和稳定性方面均优于现有方法。通过移除生成网络、保留地标检测网络，ELD有效解决了小训练数据集的过拟合问题。作者证实，与同类方法相比，ELD的一致性和后向误差性能更优，仅前向误差略低；运行时间测试表明ELD计算效率高，且在实际应用中，模型收敛速度通常更快。通过调整优化函数，作者证实ELD在多种应用场景（单模态数据配准、3D建模、多模态数据对齐）中均有效：在单模态数据配准方面，ELD表现优于Eggplant（人工标注）、STAlign等现有方法；在3D建模方面，ELD通过生成锚点（而非地标），成功实现了z-stack对齐，且在小鼠前列腺数据集上，其ATRE指标显著优于其他8种模型；最后，作者证实ELD可通过为不同模态设计独特地标检测器，并在组织潜在空间中比较配准相似性，实现不同模态组织的对齐。
ELD能在单模态和多模态场景下学习跨模态的地标检测，有效解决了H&E组织（解剖结构有限）中常见的同质性挑战。在这类场景中，ELD通常优先识别组织边界附近的地标——尽管能实现满意的配准结果，但这些地标可能缺乏生物学意义。若要提升地标检测效果、获得更具意义的地标，可引入MSI、Visium等其他模态数据，这些模态通常具有更异质的纹理，能为ELD提供更丰富的背景，助力其检测更多样、更重要的地标。若仅能获取单一模态数据（且结构高度同质），且需识别更具意义的地标，可尝试其他地标检测技术（如Maric等人提出的定向快速旋转二进制特征方法），但需注意：在本研究的实验中，基于定向快速旋转二进制特征的方法在所用数据集上未取得满意结果，因此未纳入对比——这表明不同技术的有效性因数据特征而异。
ELD的核心目标是地标检测，配准仅为附加功能。因此，本研究中作者使用了TPS等相对简单的配准模型。作者认为，ELD有望通过在训练阶段提供“真值地标”，为STAlign、CODA等采用更先进配准方法的模型提升性能，类似其对Eggplant的优化效果。综上，在空间组学和组织学图像数据的无监督地标检测与配准方面，ELD较现有方法有显著提升；其对不同数据类型和模态的适应性，使其成为空间生物学研究领域极具潜力的工具。
总结-概述-分析方法
这项研究引入了 ELD (effortless landmark detection)，这是一种基于深度学习的无监督空间地标检测和组织配准新方法。该方法旨在解决现有技术在处理组织学图像和空间组学数据时面临的挑战，包括对小数据集的适应性差、无法处理非线性形变以及多模态数据处理困难等。
实验设计与方法 (Experimental Design and Methods)
1. ELD 框架与机制
ELD 框架主要由两部分组成：一个用于地标检测的深度神经网络（具体来说，是一个沙漏网络，与 Sanchez 等人使用的网络相同）和一个用于图像配准的薄板样条 (Thin-Plate Spline, TPS)。
核心区别： ELD 的创新在于它移除了传统方法中用于对齐的生成深度神经网络，仅保留了地标检测网络。通过使用解析可解的 TPS 进行配准，ELD 约束了解决方案空间，防止地标检测器产生特定于图像的随机且不一致的标识。这迫使网络必须识别跨组织切片的一致性地标。
工作流程： ELD 系统首先使用无监督训练的空间地标检测网络在所需组织切片上确定地标。一旦确定了这些关键点，ELD 就会使用基于地标的对齐技术（如 TPS 或单应性 (Homography)）来对齐区域，并将所有对齐的组织区域投影到一个通用坐标框架 (CCF) 中。
训练和预处理： 所有实验均使用 128 \times 128 图像进行训练。为提高泛化能力，采用了数据增强策略，包括旋转、缩放和弹性变换。为防止地标陷入局部最小值，模型使用了地标丢弃 (landmark drop-out) 技术，丢弃概率设定为 10%。
2. 针对特定应用的优化与设计
3D 建模： 为了对齐形态可能沿堆叠轴剧烈变化的多个组织切片堆栈 (z-stack)，ELD 被修改为生成锚点 (anchor points) 而非地标。训练时，损失函数被调整，通过在 TPS 配准后面积变化显著时，增加刚性变换（Rigid transformation）结果对损失函数的贡献。这种策略迫使地标更像是具有固定 xy 坐标的锚点，从而确保整个 z 堆栈的稳定性。
多模态数据对齐： 为了优化不同模态之间的对齐，ELD 为每种模态使用了单独的地标检测器。在训练过程中，它通过比较两种模态的潜在表示（从地标检测器的第一层激活 Z_A 和 Z_B）之间的相似性（使用均方根误差，即模态间一致性损失 L_{inter}）来评估对齐质量。
分析方法 (Analysis Methods)
1. 误差评估指标
研究使用了标准误差指标来评估 ELD 和其他现有方法的性能：
一致性误差 (Consistency error)： 评估地标稳定性。计算方法是检测图像中的地标，应用仿射变换，然后将相同的仿射变换应用于图像并再次检测地标，比较这两组地标的一致性。
前向误差 (Forward error)： 通过训练线性回归模型，使用检测到的地标来预测手动注释点。
后向误差 (Backward error)： 通过训练反向线性回归模型，使用手动注释地标来预测检测到的地标。此指标用于衡量检测到的地标的稳定性。低前向误差但高后向误差可能表明检测到的稳定地标数量较少。
3D 对齐误差： 使用配准误差 (Target Registration Error, TRE) 和累积配准误差 (Accumulated TRE, ATRE)。TRE 是目标点（未用于配准）的实际位置和预测位置之间的欧几里得距离。ATRE 是对所有组织切片累积的 TRE，提供了配准任务总误差的整体指示。
2. 损失函数 (Cost Function)
在所有实验中，成本函数都植根于多尺度结构相似性 (MS-SSIM) 方法
MS-SSIM 应用： MS-SSIM 评估图像质量，在存在显著批次效应的情况下，它比均方误差 (MSE) 等方法更具鲁棒性。
总损失函数结构： 损失函数通常是基础损失 (L_{base}) 和一致性损失 (L_{consistency} 或 L_{intra}) 的组合。
L_{base}：对齐后的源图像与目标图像之间的 MS-SSIM 损失。
L_{consistency}（单模态）：确保特定地标在不同图像中始终指向相同特征。
L_{inter}（多模态）：使用地标检测器的潜在表示之间的 RMSE 来衡量模态间的相似性。
结果内容 (Results)
1. 基准测试性能
一致性和稳定性： ELD 在准确性和稳定性方面均表现出优异的性能。在与两种其他最先进的方法进行比较时，ELD 表现出卓越的一致性。
误差对比： ELD 展现出显著更优的后向误差，这归因于其他方法发现的地标不一致。尽管 ELD 在前向误差方面略逊于其他方法，但这表明 ELD 牺牲了一些泛化能力以换取显著提高的一致性。其他方法的高平均误差主要是由于存在有时严重错位的地标异常值。
运行时效率： ELD 的运行时测试表明它在计算上是高效的，且在许多实际应用中，收敛速度通常更快。
2. 单模态数据配准
Visium 数据： ELD 产生的地标可以取代手动注释。使用 ELD 自动检测的地标（无论是基于组织学图像、3 个基因还是 100 个基因识别），在使用 Eggplant 工具转移基因表达时，其结果的准确性至少与手动注释获得的准确性相当。
ISS 数据： 将 ELD 与 STAlign 进行比较，ELD 在预测配准样本上正确解剖区域方面获得了更高的准确性。
3. 3D 建模
ELD 通过调整为生成锚点，成功实现了 z 堆栈的对齐。
在小鼠前列腺数据集上，与八种其他配准模型相比，ELD 显著优于它们，尤其是在累积配准误差 (ATRE) 指标方面。这表明 ELD 的对齐在整个组织体积上更具一致性。
4. 多模态数据对齐
ELD 能够检测和对齐来自不同模态的组织数据，例如 Visium 和 H&E 图像，或 Visium 和 MSI 数据。
ELD 成功地对齐了人发育中心脏数据集中的组织学图像和 Visium 表达数据。ELD 程序化检测的地标性能与手动注释地标相当。
ELD 能够以无监督的方式，学习模态无关的地标，从而整合多模态数据集。在同质结构（如 H&E 组织）中，引入 MSI 或 Visium 等多模态数据，能提供更丰富的上下文，帮助 ELD 检测出更具生物学意义的地标。
总而言之，ELD 通过用 TPS 替换传统生成网络的方式，有效解决了空间组学和组织学图像数据中常见的小数据集和非线性变换问题。ELD 最大的优势在于其优越的一致性和稳定性，以及它能够在无监督的情况下，处理高维和多模态数据的能力。
可以将 ELD 框架理解为一个经验丰富的侦察兵 (Landmark Detector)，它在寻找地图上的关键点（地标）时，不能仅仅靠“死记硬背”每张地图（生成网络倾向于记忆），而是必须依靠精确的几何法则（TPS）来指导自己。这种约束迫使侦察兵（ELD）只选择那些在所有地图上都真实、稳定存在的关键地标，从而保证了其在各种复杂地形（不同模态、3D 堆栈）上的高准确性和一致性。
本研究中新开发的生物计算方法是 ELD（Effortless Landmark Detection，轻松地标检测），这是一个无监督本研究中新开发的生物计算方法是 ELD（Effortless Landmark Detection，轻松地标检测），这是一个无监督地标检测和组织配准方法，它利用神经网络引导的薄板样条（TPSs）来实现这些功能。ELD 旨在解决现有方法在处理组织相关数据集时面临的挑战，如小数据集导致的过拟合、非线性形变处理困难以及多模态数据处理需求。
ELD 框架和核心组件
ELD 框架主要由两个关键部分组成：
1. 地标检测深度神经网络（Landmark Detector Network）： 用于在源图像和目标图像中识别一组源点 P（地标）及其对应的目标点 Q。
网络结构： 所使用的地标检测器网络与 Sanchez 等人 使用的网络结构相同，它是一个沙漏网络（hourglass network），包含大约 600 万个参数。
约束解空间： ELD 的主要区别在于，它移除了生成网络（generative network），只保留了地标检测网络。这一策略通过约束解空间，有效解决了小训练数据集中的过拟合问题，并使得地标检测器被迫识别出在不同组织切片中具有一致性的地标。
2. 薄板样条（Thin-Plate Splines, TPS）： 用于精确的图像配准。
作用： 一旦地标检测网络识别出地标点集 P 和 Q，TPS 就会被用来确定一个函数 f，使得 f(P)=Q。随后，这个函数 f 被用于扭曲（warp）源图像，使其与目标图像对齐。
优势： 相比使用大型深度神经网络进行配准，TPS 等基于地标的方法具有更少的不可学习参数（硬约束），且计算效率更高。此外，考虑到生物数据中转换的弹性性质，TPS 尤其适用，因为它能够平滑且灵活地映射两组地标，同时最小化弯曲能量。
核心分析计算方法和公式
1. 薄板样条（TPS）的数学模型
TPS 通过最小化弯曲能量，在源点集 P 和目标点集 Q 之间创建一个平滑的映射函数 f(x, y)。对于二维空间中的 N 个源点 p_i 及其对应的目标点 q_i，目标是确定偏置参数 a_1、仿射参数 a_x 和 a_y，以及每个坐标的非线性参数 w_i。
映射函数 f(x, y) 的组成：
f_x(x, y) = a_1 + a_x x + a_y y + \sum_{i=1}^{N} w_i U(\left\|(x_i, y_i) - (x, y)\right\|) \\
f_y(x, y) = a_1 + a_x x + a_y y + \sum_{i=1}^{N} w_i U(\left\|(x_i, y_i) - (x, y)\right\|)
其中，径向基函数 U(r) 用于描述非线性形变：
U(r) = r^2 \log_2(r)
TPS 函数的权重参数可以通过解析方法求解获得。
2. 损失函数和优化目标
ELD 的训练过程通过最小化损失（即目标图像与扭曲源图像之间的不相似性）来优化地标检测器。主要的损失函数基于多尺度结构相似性（MS-SSIM）。
A. 通用损失函数（用于地标质量和运行时评估）
该通用损失函数结合了基础损失（L_{base}）和一致性损失（L_{consistency}）。
基础损失 L_{base}： 评估已配准图像 X_{registered} 与目标图像 X_{target} 之间的相似性。
L_{base} = \text{MS-SSIM} (X_{\text{registered}}, X_{\text{target}}) \quad \text{(MS-SSIM 窗口尺寸为 5)}
一致性损失 L_{consistency}： 确保特定的地标在不同图像中始终定位相同的特征。在通用评估中，它计算了围绕地标的小图像块 P_{Y_{registered}} 和 P_{X_{target}} 之间的 MS-SSIM。
L_{\text{consistency}} = \text{MS-SSIM} (P_{Y_{\text{registered}}}, P_{X_{\text{target}}}) \quad \text{(MS-SSIM 窗口尺寸为 3)}
总损失 L_{\text{total}}： 基础损失与一致性损失的加权组合。
L_{\text{total}} = L_{\text{base}} + 0.1 \times L_{\text{consistency}}
其中，一致性损失的权重因子 0.1 是通过经验测试确定的。
B. 单模态数据配准损失函数
在单模态数据配准（如 Visium 或 H&E）中，由于样本间存在细微的批次效应（batch effects），L_{consistency} 的计算方式被修改：它直接计算目标图像 X_{target} 与对齐到 X_{target} 的随机样本 Y_{registered} 之间的 MS-SSIM。
一致性损失 L_{consistency}（单模态）：
L_{\text{consistency}} = \text{MS-SSIM} (Y_{\text{registered}}, X_{\text{target}})
总损失 L_{\text{total}}（单模态）：
L_{\text{total}} = L_{\text{base}} + 0.1 \times L_{\text{consistency}}
C. 三维（3D）建模/Z轴对齐损失函数
在 3D 建模中，ELD 被修改以生成锚点而不是地标，重点是控制配准后组织面积的变化，确保稳定性。损失函数结合了 TPS 配准、刚性变换配准（使用 Kabsch-Umeyama 算法）以及配准后的面积变化 \text{dA}。
损失函数 L（3D 建模）：
L = (1 - \text{dA}) \times \text{MS-SSIM} (X_{\text{TPS} j}, X_{\text{TPS} i}) + \text{dA} \times \text{MS-SSIM} (X_{\text{TPS} j}, X_{\text{rigid} i})
其中：
X_i 是当前样本切片；X_j 是引入了噪声的样本切片。
X_{\text{TPS} i} 是 X_i 经过 TPS 变换到参考点 X_{\text{reference}} 的结果。
X_{\text{rigid} i} 是 X_i 经过刚性变换到参考点 X_{\text{reference}} 的结果。
X_{\text{TPS} j} 是含噪声的 X_j 经过 TPS 变换到参考点的结果。
\text{dA} 是 X_i 经过 TPS 配准前后的面积变化。
这个策略通过增加面积变化 \text{dA} 在损失函数中的权重，迫使地标更像锚点。
D. 多模态数据对齐损失函数
由于不同模态（如 Visium 和 MSI）的特征、分布和尺度不同，不适合直接使用 MS-SSIM 进行比较，因此引入了潜空间表示进行相似性评估。
模态间一致性损失 L_{\text{inter}}： 使用来自地标检测器第一层的激活（潜表示 Z_A 和 Z_B）来衡量对齐质量，通过均方根误差 (r.m.s.e.) 计算。
L_{\text{inter}} = \text{r.m.s.e.}(Z_A, Z_B)
模态内一致性损失 L_{\text{intra}}： 类似于单模态一致性损失，在同一模态内样本间计算 MS-SSIM。
L_{\text{intra}} = \text{MS-SSIM} (Y_{\text{registered}}, X_{\text{target}})
基础损失 L_{\text{base}}： 衡量将样本的噪声变体与样本的另一个扰动版本配准的质量。
L_{\text{base}} = \text{MS-SSIM} (X_{\text{registered}}, X_{\text{target}})
总损失 L_{\text{total}}（多模态）： 将三种损失函数进行组合加权。
L_{\text{total}} = L_{\text{base}} + 10 \times L_{\text{intra}} + 0.1 \times L_{\text{inter}}
权重因子 10 和 0.1 是通过经验确定的。
3. 优化参数和训练细节
图像尺寸： 所有实验中训练图像的尺寸为 128 \times 128 像素。
数据增强： 训练中使用了旋转（-15^\circ 到 15^\circ 随机角度）、缩放和弹性变换。弹性噪声通过 `elasticdeform` 包引入，形变网格的控制点和正态分布的 \sigma 值在实验依赖的范围内随机选择。
地标弃用（Landmark Drop-out）： 为防止地标陷入局部最小值，训练中使用了地标弃用技术。每个地标有 P=10\% 的概率被移除。
优化器与学习率：
通用评估/单模态/3D建模： 初始学习率为 1 \times 10^{-4}，使用学习率调度器（scheduler），步长为 10 个周期，衰减率为 0.95。
运行时实验： 初始学习率为 1 \times 10^{-4}，学习率调度器步长为 3 个周期，衰减率为 0.95。
收敛标准： 当损失值在连续 10 个周期内的改善小于 1 \times 10^{-4} 时，训练停止。
批量大小（Batch Size）： 通用评估和单模态配准通常使用批量大小为 48。3D 建模中使用的批量大小为 258（整个 z-stack）。
总结的比喻：
可以将 ELD 想象成一个自动绘图师，专门绘制“寻宝图”（即地标）。传统的深度学习方法（带有生成网络）就像一个记忆力超强的学徒，它虽然能完成地图配准的任务，但它找到的“宝藏点”（地标）可能是随机且不一致的，因为它的强大记忆（生成网络）掩盖了地标本身的问题。而 ELD 通过移除生成网络，并使用解析可解的 TPS（即给绘图师设定了一个严格的数学工具箱），迫使这个绘图师必须找到那些在所有地图上都真实、稳定、并且有意义的“宝藏点”（一致性地标），从而保证了配准的准确性和可信度。
论文数据分析复现（用户指南）
conda create --name ELD_env python=3.8conda activate ELD_envpip install -r requirement.txtcd ELD pip install .pip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 torchaudio==0.9.0 -f https://download.pytorch.org/whl/torch_stable.html
python -m visdom.server -port 9006
eld-train --elastic_sigma 5 --cuda 1 --port 9006 --data_path ../marcoAnalysis/MOB_HE/ --npts 16 --o scratch --elastic True --step_size 5 --ws 0 --gamma 0.9 --angle 8 --model unimodal
eld-train --elastic_sigma 5 --cuda 1 --port 9006 --data_path ../marcoAnalysis/CODA_prostate/ --npts 16 --o scratch --elastic True --step_size 5 --ws 0 --gamma 0.9 --angle 8 --model 3d
eld-train --elastic_sigma 5 --cuda 1 --port 9006 --data_path ../marcoAnalysis/CODA_prostate/ --npts 16 --o scratch --elastic True --step_size 5 --ws 0 --gamma 0.9 --angle 8 --model multimodal
文献原文和新分析方法的复现（包含分析数据和梳理好的代码）可以后台获取下载链接，关键词：251102（后台发送信息输入关键词251102，自动回复下载链接）；针对研究论文中的分析，任何问题都可以留言或私信询问。
我们也创建了一个交流群，平时大家可以一起学习交流，我们也会花时间维护（欢迎大家加入交流，提问题需求）：
团队信息
SciLifeLab
https://www.scilifelab.se/news/scilifelab-voices-patrick-truong-markus-ekvall/
https://www.scilifelab.se/researchers/joakim-lundeberg/
机器学习在计算生物学中的应用 || PART I || 2025 （点击扫码观看）
![]()
机器学习在计算生物学中的应用 || PART II || 2025（点击扫码观看）
![]()
空间组学的实用分析方法 || ISB-线上培训
（点击扫码观看）
![]()
通过计算阵列重建的可扩展空间转录组学 || The Chen Lab（点击扫码观看）
空间转录组学的模型和方法 || Ben Raphael || CGSI（点击扫码观看）
![]()
更多资源欢迎关注B站（关注MCBRLab ）
其他参考基础模型：
Nature Methods || 大规模单细胞转录组学基础模型 || scFoundation
scGPT-spatial：面向空间转录组学的单细胞基础模型（scGPT || Nature Methods）的持续预训练
Nature || 2024 HCA || SCimilarity：一种用于大规模搜索相似人类细胞的细胞图谱基础模型-单细胞注释
Nature || 2024 HCA || 人类神经类器官的综合转录组细胞图谱-单细胞注释
Nature Genetics || 2024 || 人类乳腺细胞图谱 || 单细胞图谱能够映射成人人体乳腺的稳态细胞变化
综述：利用最优传输技术分析单细胞和空间组学数据 || Nature Reviews Methods Primers
Nature Genetics || 利用高级统计方法（潜在嵌入多元回归）解析多条件下的单细胞组学数据
Nature Methods || 综述：单细胞多组学中的小样本方法：单个数据点的重要性
Nature Reviews Genetics || 综述：单细胞多组学时代的基因调控网络推断
参考文献
Ekvall, M., Bergenstråhle, L., Andersson, A. et al. Spatial landmark detection and tissue registration with deep learning. Nat Methods 21, 673–679 (2024). https://doi.org/10.1038/s41592-024-02199-5
