社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

IEEE TFS|中国科学院新疆理化所胡鹏伟等:FEMSSorg:面向类器官识别的模糊混合专家深度学习框架

智药邦 • 5 月前 • 217 次点击  

近日,中国科学院新疆理化技术研究所胡鹏伟团队联合德国默克等机构在IEEE Transactions on Fuzzy Systems(IEEE TFS)上报道了类器官图像智能分析新工作:FEMSSorg。

代码仓库:ucas-dx/FuzzyMOE

https://github.com/ucas-dx/FuzzyMOE

类器官正在成为药物筛选、疾病建模和精准医学研究的重要模型。但在高通量实验中,明场显微图像常常面临背景复杂、离焦阴影、气泡干扰、形态差异大等问题,传统人工分析和参数化方法难以稳定处理。

针对这一挑战,该团队提出FEMSSorg:一种面向明场类器官图像识别的新型深度学习框架。该方法通过多尺度状态空间特征提取、FuzzyMoE模糊混合专家软路由,以及DDAF自适应特征融合,实现类器官定位检测与形态/纹理分类的统一自动化分析。

一张明场图,为什么难倒了类器官高通量分析?

类器官是由细胞在体外三维培养形成的微型组织结构,能够在一定程度上模拟来源组织或器官的结构和功能。正因为这种特性,类器官已经被广泛用于基础生物学研究、疾病建模、药物筛选和精准医学探索。

但当类器官研究进入高通量阶段,一个看似基础的问题会迅速变得棘手:如何稳定、快速、自动地从大量显微图像中识别类器官?

在实际培养和成像过程中,类器官并不总是清晰地出现在画面中央。它们可能分布在不同焦平面,呈现不同大小、不同纹理和不同发育状态;明场图像中还常常存在阴影、离焦、气泡、杂质和培养基背景干扰。

这意味着,类器官图像分析不只是“把目标框出来”这么简单。真正困难的是:在复杂背景下识别真实类器官,在不同尺度下保持定位准确,并进一步区分细微的形态和纹理差异。

传统阈值分割、形态学处理或依赖人工参数调节的方法,在小规模、单一条件下可以工作;但面对多类型、多批次、大规模的类器官图像时,稳定性和可扩展性往往不足。染色成像虽然可以提高对比度,却可能引入毒性,不利于长期动态观察。

因此,类器官研究需要一种更适合明场图像、更能适应复杂形态变化、更接近高通量实际场景的自动化分析方法。

图1 类器官形态分类图,展示肠、肺、胃类器官在明场图像中的类别差异和形态异质性。

FEMSSorg:让模型同时“看整体”和“看细节”

围绕这一问题,中国科学院新疆理化技术研究所胡鹏伟等提出了FEMSSorg,全称为Fuzzy Mixture-of-Experts Aggregation for Organoid Identification with Multi-Scale State Space Features。

简单来说,FEMSSorg是一个用于明场类器官图像自动识别的深度学习框架。它不仅可以完成类器官定位检测,还可以进一步进行多类别形态和纹理分类。

图2 FEMSSorg检测结构图,展示从明场显微图像输入到类器官定位与分类输出的整体流程。

这个模型的核心思路可以概括为三点:

第一,使用多尺度状态空间特征提取,让模型同时捕捉全局轮廓和局部纹理。

类器官图像中的信息并不集中在单一尺度上。较大的成熟类器官需要模型理解整体结构,小的早期类器官则更依赖局部边缘和纹理细节。FEMSSorg将全局状态空间扫描与局部多窗口扫描结合起来,使模型能够在不同空间尺度上建模图像信息。

图3 FEMSSorg的多尺度SSM模块,通过GlobalSS、LocalSS与FuzzyMoE聚合多尺度状态空间特征。

第二,引入FuzzyMoE模糊混合专家机制,让不同“专家”动态处理不同图像特征。

传统硬路由方法往往会把特征分配给某一个固定路径,灵活性有限。FEMSSorg设计了Fuzzy route软路由机制,通过模糊专家聚类得分,对不同专家的输出进行自适应加权融合。

可以把它理解为一次“多专家会诊”:有的专家更擅长识别局部纹理,有的专家更擅长理解全局结构,模型不会只听某一位专家的判断,而是根据当前图像内容动态分配权重。

第三,使用DDAF自适应特征融合,在保留小目标细节的同时整合多层级信息。

在类器官图像中,小目标和细微形态差异非常重要。FEMSSorg的DDAF模块通过双下采样和内容感知池化,将原始骨干特征与并行下采样特征融合,减少传统池化对细节的平滑损失,从而提升小类器官和复杂形态的检测能力。

研究团队构建了大规模、多类别的明场类器官图像数据集

为系统评估模型性能,研究团队整理并标注了覆盖多种类器官类型的明场图像数据。

在检测任务中,数据包括:

1)肠类器官:2,813张图像

2)脑类器官:1,857张图像

3)肺类器官:4,006张图像

在多类别形态/纹理分类任务中,数据包括:

1)肠类器官:840张图像

2)肺类器官:4,006张图像

3)胃类器官:357张图像

所有标注均经过领域专家优化和校正。整体数据包含数千张明场图像和超过120,000个标注实例,为模型在真实复杂场景中的性能评估提供了基础。

这些数据不仅覆盖不同组织来源,也覆盖多种发育状态和形态类别。例如,肠类器官包括spheroid、cyst、early organoid、late organoid等形态;肺类器官包含lumen和no-lumen等状态;胃类器官则包含apoptotic、hollow和solid等亚型。

结果如何:检测更准,分类更稳,效率也更高

在单类别类器官定位检测任务中,FEMSSorg在肠、肺、脑类器官数据集上均取得领先结果。

图4 FEMSSorg与SOTA模型在不同IoU阈值和F1指标上的性能对比。

其中:

1)肠类器官检测AP50达到0.913

2)肺类器官检测AP50达到0.916

3)脑类器官检测AP50达到0.989

在肠类器官数据集上,FEMSSorg明显超过次优模型RT-DETR;同时在小、中、大不同尺度目标上均取得最佳表现,说明模型能够适应类器官大小变化。

在肺类器官数据集中,FEMSSorg对复杂目标尺度同样表现突出,尤其在大目标检测中取得明显优势。

在多类别形态和纹理分类任务中,FEMSSorg同样表现稳定:

1)肠类器官多类别mAP50达到0.783

2)肺类器官多类别mAP50达到0.746

3)胃类器官多类别mAP50达到0.777

值得注意的是,在肠类器官小目标分类中,FEMSSorg的mAP_s达到0.427,超过次优模型0.192的两倍。这说明模型能够更好保留早期、小尺寸类器官的细粒度信息。

在依赖纹理差异判断的肺类器官分类任务中,FEMSSorg的mAP50达到0.746,较次优YOLOv9-e的0.630提升超过0.11,体现了FuzzyMoE对复杂纹理特征的辨别能力。

更重要的是,FEMSSorg并不是依靠简单堆大模型获得性能提升。模型参数量为27.311M,计算量为79.541G FLOPs。相比检测任务中的强基线RT-DETR-x,后者参数量为67.47M、计算量为232.69G FLOPs,FEMSSorg在更低计算开销下取得了更高检测精度。

这对于高通量类器官图像分析尤其重要,因为真实实验往往需要处理大量图像,模型不仅要准确,也要足够高效。

为什么这项工作重要?

类器官研究的价值,不只在于培养出更接近人体组织的模型,也在于能够从这些模型中高效提取可量化、可比较、可追踪的信息。

FEMSSorg的意义在于,它为明场类器官图像提供了一套自动化分析方案:

1)对实验人员而言,可以减少重复人工计数和主观判断;

2)对药物筛选而言,可以提升大规模图像分析的效率和一致性;

3)对发育和疾病模型研究而言,可以更稳定地追踪类器官形态变化;

4)对计算生物学和医学图像分析而言,它提供了面向类器官特性的模型设计思路。

换句话说,FEMSSorg不只是把通用目标检测模型直接迁移到类器官图像上,而是围绕明场类器官图像的真实难点进行了结构设计:复杂背景、小目标、形态异质性、纹理细微差异,以及高通量场景下的效率需求。

未来展望

目前,FEMSSorg已经在多种类器官明场图像中验证了检测和分类能力。未来,研究团队计划进一步将该框架扩展到类器官动态视频数据,用于追踪培养过程中的发育变化;同时探索其在Z-stack图像中的应用,以支持更完整的三维类器官表征。

随着类器官技术继续走向规模化和标准化,自动化图像分析将成为连接实验系统与数据洞察的重要环节。FEMSSorg有望为高通量药物筛选、疾病建模和精准医学研究提供更高效、更可靠的计算工具。

参考资料:

https://ieeexplore.ieee.org/document/11278056/

--------- End ---------

感兴趣的读者,可以添加小邦微信加入读者实名讨论微信群。添加时请主动注明姓名-企业-职位/岗位或姓名-学校-职务/研究方向。

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/197659