近日,中国科学院新疆理化技术研究所胡鹏伟团队联合德国默克等机构在IEEE Transactions on Fuzzy Systems(IEEE TFS)上报道了类器官图像智能分析新工作:FEMSSorg。
代码仓库:ucas-dx/FuzzyMOE
https://github.com/ucas-dx/FuzzyMOE
类器官正在成为药物筛选、疾病建模和精准医学研究的重要模型。但在高通量实验中,明场显微图像常常面临背景复杂、离焦阴影、气泡干扰、形态差异大等问题,传统人工分析和参数化方法难以稳定处理。
针对这一挑战,该团队提出FEMSSorg:一种面向明场类器官图像识别的新型深度学习框架。该方法通过多尺度状态空间特征提取、FuzzyMoE模糊混合专家软路由,以及DDAF自适应特征融合,实现类器官定位检测与形态/纹理分类的统一自动化分析。
类器官是由细胞在体外三维培养形成的微型组织结构,能够在一定程度上模拟来源组织或器官的结构和功能。正因为这种特性,类器官已经被广泛用于基础生物学研究、疾病建模、药物筛选和精准医学探索。
但当类器官研究进入高通量阶段,一个看似基础的问题会迅速变得棘手:如何稳定、快速、自动地从大量显微图像中识别类器官?
在实际培养和成像过程中,类器官并不总是清晰地出现在画面中央。它们可能分布在不同焦平面,呈现不同大小、不同纹理和不同发育状态;明场图像中还常常存在阴影、离焦、气泡、杂质和培养基背景干扰。
这意味着,类器官图像分析不只是“把目标框出来”这么简单。真正困难的是:在复杂背景下识别真实类器官,在不同尺度下保持定位准确,并进一步区分细微的形态和纹理差异。
传统阈值分割、形态学处理或依赖人工参数调节的方法,在小规模、单一条件下可以工作;但面对多类型、多批次、大规模的类器官图像时,稳定性和可扩展性往往不足。染色成像虽然可以提高对比度,却可能引入毒性,不利于长期动态观察。
因此,类器官研究需要一种更适合明场图像、更能适应复杂形态变化、更接近高通量实际场景的自动化分析方法。
图1 类器官形态分类图,展示肠、肺、胃类器官在明场图像中的类别差异和形态异质性。
FEMSSorg:让模型同时“看整体”和“看细节”
围绕这一问题,中国科学院新疆理化技术研究所胡鹏伟等提出了FEMSSorg,全称为Fuzzy Mixture-of-Experts Aggregation for Organoid Identification with Multi-Scale State Space Features。
简单来说,FEMSSorg是一个用于明场类器官图像自动识别的深度学习框架。它不仅可以完成类器官定位检测,还可以进一步进行多类别形态和纹理分类。
图2 FEMSSorg检测结构图,展示从明场显微图像输入到类器官定位与分类输出的整体流程。
这个模型的核心思路可以概括为三点:
第一,使用多尺度状态空间特征提取,让模型同时捕捉全局轮廓和局部纹理。
类器官图像中的信息并不集中在单一尺度上。较大的成熟类器官需要模型理解整体结构,小的早期类器官则更依赖局部边缘和纹理细节。FEMSSorg将全局状态空间扫描与局部多窗口扫描结合起来,使模型能够在不同空间尺度上建模图像信息。
图3 FEMSSorg的多尺度SSM模块,通过GlobalSS、LocalSS与FuzzyMoE聚合多尺度状态空间特征。
第二,引入FuzzyMoE模糊混合专家机制,让不同“专家”动态处理不同图像特征。
传统硬路由方法往往会把特征分配给某一个固定路径,灵活性有限。FEMSSorg设计了Fuzzy route软路由机制,通过模糊专家聚类得分,对不同专家的输出进行自适应加权融合。
可以把它理解为一次“多专家会诊”:有的专家更擅长识别局部纹理,有的专家更擅长理解全局结构,模型不会只听某一位专家的判断,而是根据当前图像内容动态分配权重。
第三,使用DDAF自适应特征融合,在保留小目标细节的同时整合多层级信息。
在类器官图像中,小目标和细微形态差异非常重要。FEMSSorg的DDAF模块通过双下采样和内容感知池化,将原始骨干特征与并行下采样特征融合,减少传统池化对细节的平滑损失,从而提升小类器官和复杂形态的检测能力。
研究团队构建了大规模、多类别的明场类器官图像数据集
为系统评估模型性能,研究团队整理并标注了覆盖多种类器官类型的明场图像数据。
在检测任务中,数据包括:
1)肠类器官:2,813张图像
2)脑类器官:1,857张图像
3)肺类器官:4,006张图像
在多类别形态/纹理分类任务中,数据包括:
1)肠类器官:840张图像
2)肺类器官:4,006张图像
3)胃类器官:357张图像
所有标注均经过领域专家优化和校正。整体数据包含数千张明场图像和超过120,000个标注实例,为模型在真实复杂场景中的性能评估提供了基础。
这些数据不仅覆盖不同组织来源,也覆盖多种发育状态和形态类别。例如,肠类器官包括spheroid、cyst、early organoid、late organoid等形态;肺类器官包含lumen和no-lumen等状态;胃类器官则包含apoptotic、hollow和solid等亚型。
在单类别类器官定位检测任务中,FEMSSorg在肠、肺、脑类器官数据集上均取得领先结果。
图4 FEMSSorg与SOTA模型在不同IoU阈值和F1指标上的性能对比。
其中:
1)肠类器官检测AP50达到0.913
2)肺类器官检测AP50达到0.916
3)脑类器官检测AP50达到0.989
在肠类器官数据集上,FEMSSorg明显超过次优模型RT-DETR;同时在小、中、大不同尺度目标上均取得最佳表现,说明模型能够适应类器官大小变化。
在肺类器官数据集中,FEMSSorg对复杂目标尺度同样表现突出,尤其在大目标检测中取得明显优势。
在多类别形态和纹理分类任务中,FEMSSorg同样表现稳定:
1)肠类器官多类别mAP50达到0.783
2)肺类器官多类别mAP50达到0.746
3)胃类器官多类别mAP50达到0.777
值得注意的是,在肠类器官小目标分类中,FEMSSorg的mAP_s达到0.427,超过次优模型0.192的两倍。这说明模型能够更好保留早期、小尺寸类器官的细粒度信息。
在依赖纹理差异判断的肺类器官分类任务中,FEMSSorg的mAP50达到0.746,较次优YOLOv9-e的0.630提升超过0.11,体现了FuzzyMoE对复杂纹理特征的辨别能力。
更重要的是,FEMSSorg并不是依靠简单堆大模型获得性能提升。模型参数量为27.311M,计算量为79.541G FLOPs。相比检测任务中的强基线RT-DETR-x,后者参数量为67.47M、计算量为232.69G FLOPs,FEMSSorg在更低计算开销下取得了更高检测精度。
这对于高通量类器官图像分析尤其重要,因为真实实验往往需要处理大量图像,模型不仅要准确,也要足够高效。
类器官研究的价值,不只在于培养出更接近人体组织的模型,也在于能够从这些模型中高效提取可量化、可比较、可追踪的信息。
FEMSSorg的意义在于,它为明场类器官图像提供了一套自动化分析方案:
1)对实验人员而言,可以减少重复人工计数和主观判断;
2)对药物筛选而言,可以提升大规模图像分析的效率和一致性;
3)对发育和疾病模型研究而言,可以更稳定地追踪类器官形态变化;
4)对计算生物学和医学图像分析而言,它提供了面向类器官特性的模型设计思路。
换句话说,FEMSSorg不只是把通用目标检测模型直接迁移到类器官图像上,而是围绕明场类器官图像的真实难点进行了结构设计:复杂背景、小目标、形态异质性、纹理细微差异,以及高通量场景下的效率需求。
目前,FEMSSorg已经在多种类器官明场图像中验证了检测和分类能力。未来,研究团队计划进一步将该框架扩展到类器官动态视频数据,用于追踪培养过程中的发育变化;同时探索其在Z-stack图像中的应用,以支持更完整的三维类器官表征。
随着类器官技术继续走向规模化和标准化,自动化图像分析将成为连接实验系统与数据洞察的重要环节。FEMSSorg有望为高通量药物筛选、疾病建模和精准医学研究提供更高效、更可靠的计算工具。
参考资料:
https://ieeexplore.ieee.org/document/11278056/
感兴趣的读者,可以添加小邦微信加入读者实名讨论微信群。添加时请主动注明姓名-企业-职位/岗位或姓名-学校-职务/研究方向。