主题专栏 | 深度学习驱动的多类岩石图像精准分割与智能识别

深度学习驱动的多类岩石图像精准分割与智能识别

何陆灏^1,3,4，周永章^1,2,4*，马建华^1,2,4，高国辉^1,2,4，冯晶晶^1,4

1. 中山大学 地球环境与地球资源研究中心，广东 珠海 519000；

2. 中山大学 地球科学与工程学院，广东 珠海 519080；

3. 中山大学 环境科学与工程学院，广州 510006；

4. 中山大学 碳中和与绿色发展研究院，广州 511400

引用此文: 何陆灏, 周永章,  马建华, 高国辉, 冯晶晶. 2026. 深度学习驱动的多类岩石图像精准分割与智能识别. 矿物岩石地球化学通报, doi: 10.3724/j.issn.1007-2802.20260099

He L H, Zhou Y Z, Ma J H, Gao G H, Feng J J. 2026. Deep learning-driven precise segmentation and intelligent recognition of Multi-class rock images. Bulletin of Mineralogy, Petrology and Geochemistry, doi: 10.3724/j.issn.1007-2802.20260099

       多类岩石图像识别与分割是地质学研究中的基础性工作，在地质调查、岩性识别、资源勘查及工程地质分析等领域具有重要的应用价值 (Zhou et al.,2026)。近年来,计算机视觉技术的快速发展(韩帅等，2018)，尤其是深度学习在目标检测与图像分割等领域的突破，为岩石图像智能识别提供了新的技术路径(徐述腾和周永章2018;张野等,2018;李明超等,2020;Gao et al.,2021;Boiger et al.,2024;Zheng et al.,2024;周永章和肖凡,2024)。

1 YOLOv11模型

1.1 算法简介

YOLO系列模型因具备较高的检测效率和较快的推理速度，已被广泛应用于计算机视觉任务。YOLOv11在继承YOLO系列模型高效检测特点的基础上，引入了C3k2模块、空间金字塔池化快速融合（SPPF）以及通道到像素空间注意力机制（C2PSA）等结构改进。这些模块在一定程度上增强了模型的特征提取能力、多尺度目标表征能力以及计算效率，同时提高了模型对复杂任务场景的适应性（Khanam and Hussain，2024）。因此， YOLOv11在兼顾精度与效率方面表现出较好的综合性能，尤其适用于对实时性和计算开销较为敏感的应用场景，如实时检测与边缘计算任务。

图1 COCO数据集上YOLO系列模型的精度与推理延迟性能评估（Shafiee et al.，2017；Sapkota et al.，2024）

1.2 整体网络结构

YOLOv11的网络结构如图2所示，延续并优化了YOLO系列经典的“主干网络（Backbone）-颈部特征融合层（Neck）-检测头（Head）”三段式架构。各模块协同作用，构成了高效的目标检测与分割框架。在此基础上，YOLOv11引入多项创新模块与改进设计，显著提升了检测精度与推理效率，增强了对复杂场景的适应能力（Sapkota et al.，2024）。

图2 YOLOV11算法结构图（Sapkota et al.，2024）

图3 Conv模块（Sapkota et al.，2024）

1.3 YOLOv11技术特点

与YOLOv8相比，YOLOv11在网络结构上进行了多方面优化，主要体现在模块设计调整、注意力机制引入以及计算效率改进等方面。其中，较为重要的变化包括以C3k2模块替代原有的C2f模块，并在SPPF模块后引入C2PSA模块，以增强模型对特征信息的提取与表达能力。此外，在分类检测头部分，YOLOv11采用了更轻量化的DWConv（DepthwiseConvolution，深度卷积）结构，在一定程度上降低了计算开销，同时也提升了模型结构的灵活性。这些改进使YOLOv11在保持较好检测性能的同时，进一步提高了计算效率，为其在高效目标检测任务中的应用提供了支持。

图4 C2K2模块（Rasheed and Zarkoosh，2024）

图5 BottleNeck模块（Rasheed and Zarkoosh，2024）

图6 C2PSA模块（Rasheed and Zarkoosh，2024）

2 数据集构建与预处理

2.1 多类岩石图像数据集获取与预处理

本研究采用公开数据集“OreDatasets”作为实验数据来源。该数据集包含9类典型岩石/地质样品图像（Zhou et al.，2022），样例图如图9所示。具体包括：玄武岩（Basalt）、燧石（Chert）、黏土（Clay）、砾岩（Conglomerate）、硅藻土（Diatomite）、石膏（Gypsum）、橄榄玄武岩（Olivine-Basalt）、页岩-泥岩（Shale-mudstone）及硅质泉华（SiliceousSinter）。上述类别涵盖火成岩、沉积岩及相关地质样品类型，具有一定的地质代表性。本文基于该数据集验证YOLOv11-seg模型在多类岩石图像识别与实例分割任务中的有效性。

图7 SPFF模块（Rasheed and Zarkoosh，2024）

图8 Detect模块（Rasheed and Zarkoosh，2024）

图9 数据集示例

2.2 数据的标注

本研究采用Labelme工具对多类岩石图像进行标注（图10），并转换为YOLO-seg格式，以支持YOLO系列模型的目标检测与实例分割任务（Russell et al.，2008）。YOLO-seg格式在目标边界框的基础上增加了像素级分割掩码，可同时满足定位与精细分割的需求。

图10 标注过程示例图

3 多类岩石图像智能识别模型设计与训练

3.1 模型训练模型初始参数

本研究基于YOLOv11-seg模型开展多类岩石图像识别与分割实验，模型性能与训练参数设置密切相关。为保证模型能够稳定收敛并获得较好的检测与分割效果，对关键参数进行了设置与优化。

3.2 模型评估与分析

损失函数的评估与分析

损失函数是优化目标分割模型性能的核心要素，直接决定模型的训练效果与最终表现。 YOLOv11-seg模型采用多任务损失函数，由边框损失（Box_loss）、分割损失（Seg_loss）、分类损失（Cls_loss）及检测特征学习损失（Dfl_loss）构成。其中，Box_loss用于优化目标定位精度，Seg_loss引导像素级分割，Cls_loss提升类别预测准确性，Dfl_loss增强特征学习能力。各损失项协同作用，共同优化目标定位、分类与精细分割任务，确保模型在多样化场景下的高效性能（Avudaiamal et al.，2024）。

图11 训练集与验证集上的各损失函数曲线图

精度指标的评估与分析

在目标检测与分割任务中，精度评估指标如precision（精确率）、recall（召回率）、mAP50（平均精度@0.5IoU）和mAP50-95（平均精度@0.5至 0.95IoU阈值）是衡量模型性能的核心工具。每个指标具有不同的评估重点，能够帮助全面分析模型的表现。

图12 精度曲线图

F1Score的评估与分析

F1Score是精确率和召回率的调和平均指标，旨在解决二者之间的平衡问题。尤其在数据集存在类别不平衡情况下，单独使用精确率或召回率可能无法全面反映模型性能，而F1Score作为综合性指标，能够有效地在精确率和召回率之间找到合适的权衡点。在YOLOv11-seg模型的目标分割任务中，F1Score被应用于边界框检测[Metrics（B）]和分割掩码[Metrics（M）]的评估，特别适用于目标形态复杂或场景杂乱的任务。F1Score能够综合评估模型在目标定位和分割方面的能力，既能反映模型在避免误检方面的表现，又能确保在尽可能多的目标被识别的同时，保持较低的误报率。

测试集结果的评估与分析

置信度（Confidence）是目标检测和分割任务中用来衡量模型预测结果可靠性的重要指标。在YOLOv11-seg模型中，置信度通常与每个预测框（boundingbox）和分割掩码（segmentationmask ）相关联。如公式（12）所示，置信度反映了模型对某个特定目标的预测准确性的信心，它是模型根据训练数据推断出的概率值，通常在0到1之间。它是由两个主要因素决定的，一个是目标类别的预测概率，另一个是边界框的拟合程度。

图13 F1 Score曲线图

4 应用案例分析

为验证YOLOv11-seg模型在复杂场景下的适用性，本文选取若干具有复杂背景的岩石图像进行识别与分割效果分析，结果如图14和图15所示。这些样本在背景纹理、亮度分布和局部区域特征方面存在一定差异，增加了目标识别与边界分割的难度，因此可用于进一步考察模型在非理想条件下的表现。

图14 验证集结果示例图

图15 应用案例示例图

5 讨论

5.1 多类岩石图像精准分割与智能识别讨论

本研究基于YOLOv11-seg模型，探讨了深度学习方法在多类岩石图像分割与智能识别任务中的应用效果。实验样本涵盖九类岩石图像，包含不同纹理结构、颜色特征和局部形态信息。实验结果表明，YOLOv11-seg在当前数据集上能够较好完成目标检测、区域分割与类别识别任务，对不同类别样本表现出较好的区分能力。

图16 错误案例示例图

5.2 模型局限与改进方向

尽管YOLOv11-seg模型取得了良好效果，实际应用中仍存在改进空间。首先，在边界模糊、光照不均或局部遮挡等复杂条件下，识别精度有待提升，失败案例如图16所示，失败案例分析表明，当不同类别样本之间存在纹理相似、颜色接近或局部结构特征重叠时，模型仍可能出现类别混淆现象，说明其在细粒度类别区分方面仍有进一步提升空间。未来可尝试引入Transformer与CNN结合的结构，增强模型对全局上下文信息的捕获能力。其次，当前模型主要基于二维图像特征，未充分利用岩石的三维结构与光谱信息。后续研究可融合三维点云、光谱成像或多源地质数据，通过多模态学习提升岩石形态与成分识别的准确性。此外，本文实验数据仅覆盖9类典型岩石/地质样品类别，类别覆盖范围仍然有限，后续需进一步引入更多岩石类型与复杂场景样本，以系统验证模型的泛化能力和鲁棒性。第三，模型泛化能力在不同地质条件或未知岩石类别下可能下降，需通过跨区域、多场景数据采集扩展数据集规模，丰富样本多样性。训练策略方面，可改进损失函数（如自适应权重或不确定性加权）以平衡检测精度与召回率，应对长尾分布与样本不均衡问题。此外，为实现现场实时检测，未来可研究轻量化网络结构与边缘计算部署，降低计算复杂度、加快推理速度，满足地质勘查中的实时性需求。需要说明的是，尽管当前数据集中的多数样本以单一主目标为主，图像分类方法可用于完成类别判别，但本文更关注目标区域定位与边界信息提取，因此采用实例分割框架而非仅进行整图分类。

6 结论

本文针对复杂地质图像场景下多类岩石图像目标识别与分割中存在的特征表达不足、边界刻画精度有限以及检测效率与分割质量难以兼顾等问题，构建了基于YOLOv11-seg的多类岩石图像精准分割与智能识别方法。基于公开数据集OreDatasets，面向9类典型岩石/地质样品类别开展系统实验，并结合多种数据增强策略提升模型泛化性能。实验结果表明，该方法在检测与分割任务中具有较好的精度、稳定性与鲁棒性。训练过程中，Box_loss、Seg_loss、Cls_loss及Dfl_loss均呈现平稳收敛趋势，未见明显过拟合现象，表明模型具备较好的优化特性与泛化能力。性能指标方面，F1Score （B）和F1Score（M）分别达到0.8688和0.7971；mAP₅₀（B）和mAP₅₀和0.8555；mAP₅₀～95（B）分别达到0.8789（M）和mAP₅₀～95（M）分别达到0.8047 和0.7618，验证了该方法在多类岩石图像目标精确检测与边界分割方面的有效性。测试集上平均预测置信度为92%，能够较准确地识别目标边界；在光照变化显著、背景噪声较强及目标与背景纹理高度相似等复杂条件下，预测置信度仍稳定在75%~90%区间，体现出较强的环境适应能力。

综上，YOLOv11-seg在多类岩石图像识别与分割任务中展现出较好的综合性能，为复杂地质图像中目标区域的自动提取提供了一种高效、智能的技术路径，在地质勘探、资源评估及遥感分析等领域具有一定应用潜力。需要指出的是，本文实验数据仅覆盖9类典型岩石/地质样品类别，类别覆盖范围仍相对有限。后续研究可从以下方向深化：（1）针对复杂遮挡、低对比度场景进一步优化检测精度；（2）结合知识蒸馏、剪枝等技术实现模型轻量化，提升部署效率；（3）探索Transformer架构、三维点云融合及多模态学习，拓展在更复杂地质图像分析任务中的应用。总体而言，本研究为深度学习在地质图像识别领域的应用提供了方法参考，随着地质大数据与智能计算技术的发展，相关方法有望在资源评价、野外快速识别及地质信息自动解译中发挥更大作用。

Agrawal N, Govil H. 2023. A deep residual convolutional neural network for mineral classification. Advances in Space Research, 71(8): 3186–3202

Alif M A R. 2024. YOLOv11 for vehicle detection: Advancements, performance, and applications in intelligent transportation systems. arXiv: 2410.22898. https://arxiv.org/abs/2410.22898

Alsuwaylimi A A. 2024. Enhanced YOLOv8-seg instance segmentation for real-time submerged debris detection. IEEE Access, 12: 117833–117849

Arora S, Dalal S, Sethi M N. 2024. Interpretable features of YOLO v8 for weapon detection - performance driven approach. In: 2024 International Conference on Emerging Innovations and Advanced Computing (IN NOCOMP), 87–93

Avudaiamal R, Subramaniakuppusamy K, Christopher N S. 2024. YOLO: Roof material detection using aerial imagery. In: 2024 International Conference on Computing and Data Science (ICCDS): 1–6

Boiger R, Churakov S V, Ballester Llagaria I, Kosakowski G, Wüst R, Prasianakis N I. 2024. Direct mineral content prediction from drill core images via transfer learning. Swiss Journal of Geosciences, 117(1): 8

Cheng L B, Li J, Duan P, Wang M G. 2021. A small attentional YOLO model for landslide detection from satellite remote sensing images. Landslides, 18(8): 2751–2765

Daasan M J A, Bin Ishak M H I. 2023. Enhancing face recognition accuracy through integration of YOLO v8 and deep learning: A custom recognition model approach. In: Methods and Applications for Modeling and Simulation of Complex Systems. Singapore: Springer Nature Singapore: 242–253

韩帅, 李明超,  任秋兵, 刘承照. 2018. 基于大数据方法的玄武岩大地构造环 境智能挖掘判别与分析. 岩石学报, 34(11): 3207–3216 [Han S, Li M C, Ren Q B, Liu C Z. 2018. Intelligent determination and data mining for tectonic settings of basalts based on big data methods. Acta Petrologica Sinica, 34(11): 3207–3216 (in Chinese with English abstract)]

He L H, Zhou Y Z, Zhang C. 2024. Application of target detection based on deep learning in intelligent mineral identification. Minerals, 14(9): 873

Gao A F, Rasmussen B, Kulits P, Scheller E L, Greenberger R, Ehlmann B L. 2021. Generalized unsupervised clustering of hyperspectral images of geological targets in the near infrared. In: 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 4289– 4298

Guo C, Gao C, Liu C, Liu G, Sun J B, Chen Y Y, Gao C D. 2023. Super- resolution in thin section of lacustrine shale reservoirs and its application in mineral and pore segmentation. Applied Computing and Geosciences, 19: 100133

Khanam R, Hussain M. 2024. YOLOv11: An overview of the key architectural enhancements. arXiv: 2410.17725. https://arxiv.org/abs/2410.17725

Kostryzhev A, Murphy T. 2025. Phase characterisation in minerals and metals using an SEM-EDS based automated mineralogy system. Methods in Microscopy, 1(2): 163–175

李明超, 符家科, 张野, 刘承照. 2020. 耦合岩石图像与锤击音频的岩性分类 智能识别分析方法. 岩石力学与工程学报, 39(5): 996–1004 [Li M C, Fu J K, Zhang Y, Liu C Z. 2020. Intelligent recognition and analysis method of rock lithology classification based on coupled rock images and hammering audios. Chinese Journal of Rock Mechanics and Engineering, 39(5): 996–1004 (in Chinese with English abstract)]

Liu Y, Wang X Y, Zhang Z L, Deng F. 2023a. Deep learning in image segmentation for mineral production: A review. Computers & Geos ciences, 180: 105455

Liu Y, Wang X Y, Zhang Z L, Deng F. 2023b. A review of deep learning in image classification for mineral exploration. Minerals Engineering, 204: 108433

Liu Y, Zhang Z L, Liu X, Wang L, Xia X H. 2021. Efficient image segmentation based on deep learning for mineral image classification. Advanced Powder Technology, 32(10): 3885–3903

Long T, Zhou Z B, Hancke G, Bai Y, Gao Q. 2022. A review of artificial intelligence technologies in mineral identification: Classification and visualization. Journal of Sensor and Actuator Networks, 11(3): 50

Lou W, Zhang D X, Bayless R C. 2020. Review of mineral recognition and its future. Applied Geochemistry, 122: 104727

Okada N, Maekawa Y, Owada N, Haga K, Shibayama A, Kawamura Y. 2020. Automated identification of mineral types and grain size using hyperspectral imaging and deep learning for mineral processing. Minerals, 10(9): 809

Quiñones-Espín A E, Perez-Diaz M, Espín-Coto R M, Rodriguez-Linares D, Lopez-Cabrera J D. 2023. Automatic detection of breast masses using deep learning with YOLO approach. Health and Technology, 13(6): 915– 923

Radulescu M, Dalal S, Lilhore U K, Saimiya S. 2024. Optimizing mineral identification for sustainable resource extraction through hybrid deep learning enabled FinTech model. Resources Policy, 89: 104692

Rasheed A F, Zarkoosh M. 2024. YOLOv11 optimization for efficient resource utilization. arXiv: 2412.14790. https://arxiv.org/abs/2412.14790

Redmon J, Divvala S, Girshick R, Farhadi A. 2016. You only look once: Unified, real-time object detection. In: 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 779–788

任秋兵, 李明超, 韩帅. 2019. 基于改进遗传算法一神经网络的玄武岩构造 环境判别及对比实验. 地学前缘, 26(4): 117–124 [Ren Q B, Li M C, Han S. 2019. Discrimination and comparison experiments of basalt tectonic setting based on improved genetic algorithm-optimized neural network. Earth Science Frontiers, 26(4): 117–124 (in Chinese with English abstract)]

Russell B C, Torralba A, Murphy K P, Freeman W T. 2008. LabelMe: A database and web-based tool for image annotation. International Journal of Computer Vision, 77(1): 157–173

Sapkota R, Meng Z C, Churuvija M, Du X Q, Ma Z H, Karkee M. 2024. Comprehensive performance evaluation of YOLOv12, YOLO11, YO LOv10, YOLOv9 and YOLOv8 on detecting and counting fruitlet in complex orchard environments. arXiv: 2407.12040. https://arxiv.org/abs/ 2407.12040

Shafiee M J, Chywl B, Li F, Wong A. 2017. Fast YOLO: A fast you only look once system for real-time embedded object detection in video. arXiv: 1709.05943. https://arxiv.org/abs/1709.05943

Su Z H, Yu J, Tan H T, Wan X Q, Qi K Y. 2023. MSA-YOLO: A remote sensing object detection model based on multi-scale strip attention. Sensors, 23(15): 6811

徐述腾, 周永章. 2018. 基于深度学习的镜下矿石矿物的智能识别实验研 究. 岩石学报, 34(11): 3244–3252 [Xu S T, Zhou Y Z. 2018. Artificial intelligence identification of ore minerals under microscope based on deep learning algorithm. Acta Petrologica Sinica, 34(11): 3244–3252 (in Chinese with English abstract)]

Zeng X, Xiao Y C, Ji X H, Wang G W. 2021. Mineral identification based on deep learning that combines image and mohs hardness. Minerals, 11(5): 506

Zhang B S, Jin X, Xiao Y T, Hou Y Z, Meng J, Huang Z K, Han M. 2023. Quantitative identification of sandstone lithology based on thin-section micrographs using the U-Net and U-net++ semantic segmentation network. In: International Petroleum Technology Conference, D012S014R002

张野, 李明超, 韩帅. 2018. 基于岩石图像深度学习的岩性自动识别与分类 方法. 岩石学报, 34(2): 333–342 [Zhang Y, Li M C, Han S. 2018. Automatic identification and classification in lithology based on deep learning in rock images. Acta Petrologica Sinica, 34(2): 333–342 (in Chinese with English abstract)]

Zhang Y, Ye M, Zhu G Y, Liu Y, Guo P Y, Yan J H. 2024. FFCA-YOLO for small object detection in remote sensing images. IEEE Transactions on Geoscience and Remote Sensing, 62: 5611215

Zheng D Y, Zhong H T, Camps-Valls G, Cao Z S, Ma X G, Mills B, Hu X M, Hou M C, Ma C. 2024. Explainable deep learning for automatic rock classification. Computers & Geosciences, 184: 105511

Zhou W Y, Wang H, Wan Z B. 2022. Ore image classification based on improved CNN. Computers and Electrical Engineering, 99: 107819

周永章, 肖凡. 2024. 管窥人工智能与大数据地球科学研究新进展. 地学前 缘, 31(4): 1–6 [Zhou Y Z, Xiao F. 2024. Overview: A glimpse of the latest advances in artificial intelligence and big data geoscience research. Earth Science Frontiers, 31(4): 1–6 (in Chinese with English abstract)]

周永章. 2018. 地球科学大数据挖掘与机器学习. 广州: 中山大学出版社 [Zhou Y Z. 2018. Big Data Mining & Machine Learning in Geoscience. Guangzhou: Sun Yat-sen University Press (in Chinese with English abstract)]

Zhou Y Z, Yang H, Ji X H. 2026. Big data and AI in geoscience: From data to discovery: A thematic overview. Minerals, 16(3): 229 Zou Y Q, Fan Y G. 2024. An infrared image defect detection method for steel based on regularized YOLO. Sensors, 24(5): 1674