手术是乳腺癌患者的主要治疗方法之一，然而对于无法进行手术或者广泛成瘤但可切除的乳腺癌患者来说，新辅助治疗（NAT）后手术是其标准治疗方案。为了了解接受NAT治疗乳腺癌患者的病理完全缓解（pCR）情况，需要评估不同治疗时间点的治疗反应，这涉及整合从Pre-NAT到Post-NAT各癌症分期的各种信息流，使得整项工作极具挑战性。
鉴于人工智能（AI）的深度学习研究可以预测患者预后，一个专为预测乳腺癌患者NAT反应的多模态反应预测（MRP）系统问世。该系统由澳门理工大学Tao Tan团队开发，可以在处理纵向多模态信息的同时处理患者个性化需求。相关研究已发表在Nature Communications上。
MRP是结合纵向多模态数据来评估BC患者的治疗反应（图1）。
MRP包括两个独立训练的模型：iMGrhpc和iMRrhpc。iMGrhpc模型包含Pre-NAT乳房X光检查以及rhpc（r：放射学，h：组织病理学，p：个人，c：临床变量）信息。iMRrhpc利用rhpc数据和嵌入指定时间信息的纵向MRI序列作为视觉输入，可模拟放射科医生的评估过程，通过包含基线（Pre-NAT图像）和随访（Mid-NAT或Post-NAT图像）数据的纵向图像来评估治疗反应。最终，MRP结合了iMGrhpc和iMRrhpc生成的pCR预测概率。
此外，MRP还包含基本的组织病理学信息，例如分子亚型、肿瘤组织学、肿瘤类型和肿瘤分化，并考虑了个人因素，包括体重、性别、年龄、更年期状况、基因突变以及临床数据，如临床淋巴结转移（cTNM）Pre-NAT和治疗细节。
在Pre-NAT阶段（图2a），MRP在预测乳腺癌治疗反应方面AUROC（工作特性曲线下面积）可达到0.883，AUPRC（精确召回曲线下面积）达到0.772。与基线模型、未整合放射学图像rhpc模型和iMGrhpc 模型的性能相比，MRP在响应预测方面表现出显著改进。
在Mid-NAT阶段（图2b），MRP较Pre-NAT时期的性能适度有所提高，AUROC为0.889，AUPRC为0.784，同样优于基线模型、未整合放射学图像rhpc模型和iMGrhpc模型。
当比较Mid-NAT和Post-NAT阶段的性能时（图2c），MRP保持了类似的竞争水平性能（p = 0.71）。在Post-NAT阶段，其AUROC为0.889，AUPRC为0.783，在比较的模型中依然性能优越。
随着连续级别的多模态成像和纵向MRI队列的增加，MRP模型的性能不断提高。为了评估MRP是否达到了合格的放射科医生解读水平，研究团队比较了6名国际放射科医生与MRP系统的评估能力。在Pre-NAT阶段，MRP的预测能力优于放射科医生；在Mid-NAT和Post-NAT阶段，MRP表现持续显著优越。
在不同的多模态模型(rhpc、iMGrhpc、iMRrhpc、MRP)中（图3），与pCR预测正相关的前五个显著特征与组织病理学和放射学因素以及图像输入相关。在组织病理学特征中，分子亚型、原位状态(在侵袭性成分旁存在原位成分)和肿瘤组织学表现出强烈的正相关性；与分子亚型密切相关的治疗类型(包括新辅助化疗，新辅助内分泌治疗和新辅助免疫治疗)也显示出显著的正相关性。乳腺X线摄影、MRI以及多灶性和乳腺X线密度等因素对于准确的pCR预测是有用的。
研究人员使用两种方法探讨了Pre-/Mid-NAT阶段MRP系统预测的特异性。
在第一种方法中，在Pre-NAT阶段，MRP正确识别了35.8%的非pCR病例，从而能够选择更合适的疗法，而不会遗漏任何pCR病例。在Post-NAT阶段，MRP确定16.7%的pCR病例可考虑减少手术，以及37%的非pCR患者考虑新辅助治疗。进一步提高决策阈值虽然可以识别更多的治疗反应病灶，使更多患者选择退出手术，但也导致更高的漏诊非pCR癌症发生率。
在第二种方法（DCA方法）中，将患者和临床医生的偏好纳入决策，以探索使用MRP在临床上的利弊。结果表明，使用MRP的预测不仅可以使Pre-/Mid-NAT期的非pCR患者受益，还可以使Post-NAT阶段的pCR患者受益（图4）。MRP（红色曲线）在每个时间点的性能仍然优于放射科医生。
以上结果表明，即使在低决策阈值下，将MRP纳入患者护理也能带来临床获益。
图4 DCA方法比较MRP与放射科医生在pCR情况下做出相关治疗决策（1）跨模态预测：没有跨模态预测器的模型（即iMGrhpc、iMRrhpc、MRP）在内部和外部队列中表现出显著降低的性能。特别对于外部验证结果，跨模态预测技术可以使AUC平均增加7.6%。与没有跨模态预测器的相同模型相比，新模型B、C和D分别显示出8.6%、6.2%、8.0%的改进，表明跨模态预测器在增强模型的泛化能力方面带来的明显优势。
（2）纵向信息嵌入：与最终模型相比，没有嵌入时间信息的模型（即iMRrhpc、MRP）表现出较差的性能，在基于纵向的场景中评估的度量值降低。综上所述，研究团队开发了一个多模态深度学习模型MRP，用于预测乳腺癌患者在NAT临床场景中的治疗反应。该模型整合了治疗过程中不同时间点的数据和方式与治疗阶段之间的依赖关系，模拟了真实临床环境。由于使用组织病理学和放射学数据进行预测，增加了该模型的适用性。
经过定性评估，研究人员观察到在大多数情况下，MRP的预测与放射科医生的预测非常吻合。值得注意的是，MRP在预测非pCR病例时表现出很高的准确性。此外，MRP的预测明显低于放射科医生的预测，这表明它在识别可能无法从治疗中受益的非pCR患者方面的潜力。
在少数情况下，MRP的预测与放射科医生的评估不同，这些差异的根本原因仍然不清楚。这凸显了深度学习不确定性领域未来研究的重要性。
原文链接：https://www.nature.com/articles/s41467-024-53450-8
·END·
