Py学习  »  机器学习算法

深度学习在工业智能检测领域的应用

软件定义世界(SDX) • 1 年前 • 213 次点击  

热门下载(点击标题即可阅读全文)

【PPT下载】中国数据分析师行业峰会精彩PPT下载(共计21个文件)

【PPT下载】2023中国企业数字化转型最佳实践案例高层论坛精彩PPT下载(共计15个文件)

数字化转型专题:

【战略】企业数字化转型战略完整指南

【PPT】《数字化转型工作手册》
【战略】普华永道:企业如何进行数字化战略转型
【路径】数字化转型知识:架构、价值及路径
【能力】一文读懂企业数字化转型能力框架
【报告】《企业数字化升级之路——百家企业数字化转型发展分析报告》
【本源】数字化转型的本质(10个关键词)

【教训】麦肯锡:企业数字化转型失败率高达80%
【中台】数据中台唱衰,企业数字化转型路在何方?(上、下)
【金融】中国商业银行数字化转型调查报告
【人才】数字化转型中的人才技能重建
【组织】传统企业数字化部门在数字化转型中的重要性及参考设置
【PPT】指标驱动,数据优先、工业数字化转型的经验分享
【华为】华为的数字化转型方法论

【华为】华为数字化转型中的数据治理实践[]

【PPT】《华为数据之道》读书笔记

【PPT】《华为数字化转型之道》读书笔记

【案例】国资委:国有企业数字化转型百大典型案例

【困境】国企数字化转型六大困境+原因剖析+典型事件

【路径】2021国有企业数字化转型发展指数与方法路径白皮书

【工业】56万台卡特彼勒设备如何实现“卡特智能”?数字化转型对中国工业互联网的启示

【PPT】《2021中国企业数字化转型路径实践研究报告》

【策略】再论数字化转型-转什么,如何转?
【调研】红杉中国:2022企业数字化指南(附:2022版/2021版下载).

【美的专辑】

【美的1】方洪波:美的的数字化转型实践
【美的2】美的:100亿,数字化转型路径与实践

【美的3】美的集团数字化历程与经验总结(2020年)

【美的4】【PPT】美的从“制造”到“智造”的数字化转型之路


1 引言


工业产品千差万别,但质量是共同关注的核心指标之一。质量指标的高低,直接关系了企业生产成本的高低、竞争力的强弱、品牌形象的好坏等。质检是对产品质量把控最直接有效的方法,制造业依靠人工肉眼对产品进行质检是较为常见、传统的方式,质检工的熟练程度、工作状态等直接关系到最终的质检结果。为提升企业的数字化水平,实现工业智检是工业行业的共同目标之一。工业现场环境复杂、业务关联度较高、部分需求提取与整合难度大,致使工业项目落地难度亦较大。随着计算机视觉、人工智能、GPU 等的发展,为工业智检的落地提供了强有力的技术支撑。国家印发《智能检测装备产业发展行动计划(2023—2025 年)》,推动了智能检测的发展。本文对工业智能检测的关键技术进行的剖析,希望能为智能检测应用提供一定的指导意义,助力工业数字化的发展。


2 工业智能检测的主要内容


工业项目的实施是一个复杂的系统工程,工业质检的主要顺序和内容包括需求调研与确认(质检类目确定与指标量化)、光学成像方案设计(高质量的成像前提)、机械电气硬件设计(成像设备的支撑与控制、整体设备的方案等)、算法方案(结合需求选择并确认算法模型)、应用软件开发(模型数据操作、软件功能等)和系统集成(质检系统自身、与其他对接系统等的软硬件集成)。明确的量化指标是衡量项目难度、制定方案的前提,性价比高的方案是推广应用的关键之一。


2.1 质检类目与量化指标


工业项目(常见的为软硬件集成类项目)是为了实现、满足业务需求,因此理清业务需求是工业项目成功落地的基础与保障。对于质检类的项目,常见的为成像类检测,其检测的缺陷种类、每种缺陷的形态与特点、检出率、每种缺陷出现的概率和缺陷在每日 / 周 / 月 / 年生产中出现比例等需求均需要数据支撑。清晰的业务需求是项目方案设计的依据,直接关系到方案的设计难度、可落地性。对于缺陷检测,需要量化缺陷检测指标,如化纤外观缺陷检测中,对于毛丝,需要明确出多长的毛丝在检测时是毛丝,按照毛丝的数量如何进行降等,每种降等等级的量化标准是什么;对于纸管破损缺陷,只要出现,即可认为降等;再如机械行业,对内在的缺陷较为关注,对于重要管道内壁的平整度要求较高,需要明确平整度的范围与指标,尤其是焊接位置的要求。在对业务需求进行量化、明确时,需要结合实际,制定合理、可行、性价比高的指标。某机械部件产品的量化检测指标见表 1。


表 1 某机械部件产品的量化检测指标

图片

2.2 光学成像方案


结合实际场景需求选择、设计合理的成套传感器方案。以成像类为例进行说明,成套传感器方案主要包含光源、相机、镜头。成套方案示意图如图 1 所示。

图片

图 1 光学成像成套方案示意图


光源需要根据被检测目标物的颜色、色泽等进行选择与设计,使得光源具备良好的均匀性,提升成像质量,常见的光源有 LED、红外、卤素灯等,光源的形状根据打光方式、强度、均匀性等要求进行定制化设计。光源的选择上要着重考虑被检测目标物的光谱特性,使相机能够尽可能多地获得其光谱特性,进而获得良好的成像效果。例如:化纤长丝中的白色全消光和半消光 POY白色 LED 光源可得到较好的成像效果;白色大有光 POY产品使用白色 + 蓝色 LED 光源可实现较优的成像效果;不锈钢滚珠轴承表面划痕检测中,使用蓝色光源,但并不是直射,而是采用多次折射、反射等处理后均匀、无反射打光至滚珠轴承表面,以获得较好的成像效果。考虑光源时,要结合产品光谱特性、环境特点进行选择与设计,光源需带有散热装置(如散热片、散热风扇等);除了直射至产品表面外,还需考虑光源传播路径、光线处理、光源的控制方式(如常亮、触发闪亮等)等。相机主要考虑像素、景深,以取得清晰的图像。理论上讲,像素越高所获得的图片也会越清晰,缺陷呈现越明显,但对算力的要求会越高、投资也会越大。在实际工程应用时,需对实际需求、投资性价比进行平衡,在满足实际合理需求的前提下,使得项目的投资合理、性价比高,在后续能够进行标准化的推广应用。


以化纤产品为例说明,按上述方案进行成像,效果如图 2 所示。该产品为半消光,由于色泽不明亮 / 反光,光源采用全光谱定制 LED 灯;表面由于尺寸大(直径超过 400mm),采用 16K 线扫相机进行拍摄;由于图片较大(单张图片在 200M~300M),需将每张图片切割为更小的图片后由检测模型进行推理,最终再将每张小图片经过压缩、合并后进行检测结果的展示。

图片

图 2 某石化工业产品光学成像效果示意图


2.3 机械电气硬件部分


为使设备长周期稳定运行,机械部分需尽可能避免使用动设备,静设备的设计可保障设备的低故障率、高运行节拍。动设备的设计可实现被检测物体的无死角拍摄,是质检的理想状态,但会带来节拍慢、故障率高、运行成本高(动设备备件更换、停机维护等)等问题,无法满足连续型生产企业对节拍、效率的要求。基于此,需对检测区域、目标进行详细、深入梳理,制定合理的检测指标,以静设备进行设计,优先保障设备运行的稳定性、节拍。如在化纤长丝外观缺陷检测中,理想的状况是将丝锭抓取起来进行旋转拍照,能对丝锭进行全方位的检测,但动设备对生产影响较大,为此,该项目以静设备进行设计,牺牲少量拍不到的区域,统计近两年的运行数据发现,设备故障率几乎为 0,节拍略高于生产要求,检测指标稳定,无漏检等现象。


稳定、合理的机械结构是电气精确、高效控制的基础。电气部分核心控制器(如 PLC)、电气元器件需与现场保持一致,既能实现 PLC 间的直接通信,又能降低备件库存、降低现场运维难度。


2.4 算法模型


随着集成电路的发展,让算力得到了极大的提升,也促进了人工智能新一轮的发展浪潮。深度学习通过在很多场景中的成功应用,验证了其优秀的解决问题的能力。AI 的处理能力和速度与 GPU 硬件配置是正相关,需要结合实际业务场景确定使用何种算法。


(1)传统算法选择 


对于需求简单、带测量要求的检测任务,使用传统算法较为合适高效,如某工业用品对尺寸要求较为严格,需量化合格产品的尺寸范围,定义偏大、偏下的等级范围,通过相机或测量类的传感器获取数据,运用传统机器识别算法即可满足需求;某工业产品对表面完整度要求较高,不允许有任何划痕、污点等瑕疵缺陷,此时可以合格产品作为标准样本,采用传统机器视觉算法对采集到的图像与标准样本进行比较,即可快速满足识别判断的要求。


(2)AI 算法模型选择 


对于缺陷种类多、每种缺陷需分类、定级规则较为复杂的检测任务,采用深度学习是较为合适的算法。深度学习是一种基于数据驱动的学习方式,具有鲁棒性强、兼容泛化性能好、可随着业务快速迭代等特点,非常适合用于需求复杂的缺陷检测。深度学习包含诸多神经网络模型,如 ResNet、YoLo、LSTM和 DarkNet等,并且在不断迭代、增加。在实际应用中,深度学习通过框架进行功能的落地,目前国内常用的框架为 PaddlePaddle。


对于缺陷种类较少的检测任务(如共有 3 个缺陷类型需检测),可以训练一个检测模型部署应用;若需检测的缺陷种类较多时,可训练多个检测模型进行部署应用,每个模型可以采用单独的方法,如采用目标分割训练一个检测模型、采用语义分割训练一个检测模型、采用 YoLo V8 训练一个检测模型,在实际运行时多个检测模型并行处理;在实际应用过程中,会有颜色识别 / 分类、尺寸测量等需求,AI 不擅长处理该类需求任务,需用传统算法实现,在工程应用中,AI+ 传统算法并行处理复杂工业需求是较为常见的解决方案。


在工业实际缺陷检测中同时有微小缺陷和大面积缺陷,仅仅使用单一的深度学习模型难以达到最佳效果,因此整体方案上根据缺陷大小、形态等因素进行划分,采用多模型融合预测。由于有些缺陷很微小,无法在原始的超高分辨率线扫图片上直接进行检测,因此需要对图片进行切块处理,对每个切块后的图片而言,微小缺陷在图像中的占比就会变大,这也就大大降低的模型的检测识别难度。由于切块处理会导致图片数量变多,在有限 CT 时间内(工业现场通常对检测节拍要求较高,与其他系统对接,不影响生产)需要完成所有的小块图像检测,就需要一种速度很快的深度学习模型,因此选择了YOLO 单阶段检测模型。受限于检测模型本身的锚框匹配机制,对于形态、纹理不确定的缺陷种类难以学习会导致模型产生大量漏失,建议选择语义分割模型。语义分割模型是一种逐像素分类的模型,对于长宽比失衡,形状边缘复杂的目标有比较好的识别效果。而且经过传统视觉的后处理,可以用于计算缺陷像素面积,能够契合企业的现行质检标准。对于具有全局特征的缺陷种类,可以直接使用分类模型进行识别,由于全局特征缺陷的面积往往很大,因此简单的分类也能具有很高的识别精度。


(3)样本关键点 


训练样本对模型训练的结果影响较大,在工程项目中,需要注意缺陷训练样本需要来源于真实的生产现场,训练样本的分布比例需与实际发生概率相符合。避免使用人工模拟制造出的缺陷样本,会导致一些重要的特征丢失,不能被模型学习到,训练出的检测模型精度低;样本量越多、标注的质量越高,训练出的模型检测精度越高。缺陷训练样本的收集、标注处理是一项细致、重要的工作,直接关系到最终算法模型的检测精度。在工程应用时,通常通过增加训练样本量可有效提升模型的检测精度。


样本在工程应用中的处理一般为自监督特征提取、特征降维、特征聚类和特征检索等。


自监督特征提取:基于特征聚类的主动筛选、以定向补缺为目的的特征检索均需先经过特征提取阶段。结合工业检测要求较高的需求,建议选择自监督模型作为特征提取的解决方案,因其能够从大规模的无监督数据中挖掘自身的监督信息,通过这种构造的监督信息对模型进行训练,从而提取到具有价值的图片表征信息,提升模型的检测精度。


特征降维:工业环境中不确定因素较高,需要检测的产品可能会具有复杂的背景,即成像后具有复杂的视觉特征,从图片中提取的特征向量维度与其所表示的特性鲁棒性是正相关关系,因此也需要更高的维度表达。通过自监督模型学习得到的特征向量通常输出为 1024 维或 2048 维甚至更高,具备更好的表达能力,但过高的维度会引入冗余信息及其他噪声,同时也会为后续步骤(如特征检索和特征聚类)引入更高的计算开销。出于对系统延迟的考虑,使用特征降维的方法,如 PCA 等对自监督模型输出的特征维度进行压缩,得到一个低维的近似表达,减小了后续样本进行主动筛选与被动检索的时间消耗。


(4)样本筛选 


样本筛选分为主动筛选和被动筛选。


主动筛选:固定或相似的生产场景往往提供背景高度重叠的图像样本,多个相似度高的样本重复加入训练流程对于整体效果的提升微乎其微,且可能造成样本类别偏移的问题。于是在经过降维处理后仍然需要通过一定的数据挖掘技术以筛选出具有代表性的,可以反映样本总体分布的子集。


被动筛选:在线生产样本虽然包含各类缺陷,但缺陷类别与形态各异,有些类别缺陷图片出现频次高,易于被模型学习归纳,而有些缺陷在训练集中出现较少,识别结果的置信度低,需要进一步对其进行扩充以提高此类缺陷的识别性能,增强鲁棒性。使用人工查阅挑选费时费力,可采用图像检索的相关方法实现定向“查漏补缺”。


2.5 应用软件


应用软件是实现对检测结果展示、调取图片、设备数据采集与展示、数据库操作,以及与其他系统对接等功能。应用软件是现场操作人员直接操作的,UI 需结合现场人员简便操作的需求进行设计,功能贴合实际。


2.6 系统集成


在工业现场,智能检测设备一般会和自动化流水线等进行集成应用:结合工艺 / 工序流程,确定质检设备的位置,在自动线 / 装备相应位置预留空间进行安装;系层面与自动化系统进行集成,进行控制触发信号、检测结果信息等数据的交互,确保二者集成后的顺利配合。常见集成后的工作流程图如图 3 所示。

图片

图 3 智检系统与自动化系统集成工作流程示意图


二者集成时需重点关注相互间的数据通信是否成功,为确保通信的可靠性,有两种方式可供参考:质检与自动化线均采用主流西门子 S7 1200/1500 PLC 时,二者间信息交互可采用 S7(单边或双边通信,采用单边的话只需要一方开发通信程序,另一方建立相同的 UDT 即可,可大幅缩短开发、调试周期)、PROFINET 等通信方式,可确保通信的稳定性;系统间采用 OPC UA 进行通信,跨平台通信不受限制,双方需做好数据发送、接收的 log记录,出现问题时便于排查。


3 应用案例


限于篇幅,本文以 DTY 外观缺陷中的毛丝检测为例对关键内容进行说明。


1)DTY 的毛丝量化检测标准见表 2。检测节拍要求:≤ 2.5s/pcs。


表 2 DTY 产品外观毛丝检测指标

图片

2)光学成像方案形式如图 1 所示,主要清单见表 3。


表 3 光学成像系统主要清单

图片

3)算法模型。对管色识别,采用传统的灰度识别;对于较小的毛丝,采用目标识别算法;对于较大的毛丝,采用语义分割算法。在工程应用时,将线扫相机传过来的图片分割为 100 张小图片、将面阵相机传过来的图片分割为 40 张小图片后,由多个模型进行并行处理。


4)系统软件核心功能为检测结果的展示、确认;可以自定义降等的阈值。


5)系统集成。与流水线对接,机械尺寸、运行节拍相匹配;系统间需实时交互产品信息、检出缺陷信息,流水线及时将检出有缺陷的产品剔除主线。


6)实际效果。统计上线后运行 3 个月的数据:检测节拍 2.46 s/pcs;A 级品检出率 ≥ 98.93%(要求≥ 97%);B 级品检出率≥ 99.86%(要求≥ 98%);管色混乱导致的混批生产事故 0 次。毛丝检测结果如图 4所示。

图片

图 4 毛丝检测结果示意图


4 结束语


工业质检一直都是生产中重要的一环,AI 的发展为质检环节赋予更多的“智慧”。工业场景多、质检要求各不相同、算法模型多且不断发展,结合实际需求,制定合理的质检量化指标,选择合适的算法模型,设计高效、稳定、性价比高的整体解决方案,通过落地应用实现工业“智”检。随着相机、算法模型、算力(如 GPU、AI加速卡、神经网络芯片等)等的发展,会带来成像质量高、算法精度与效率高、算力性价比高的检测软硬件设备,推进工业智检更好地应用与发展;随着数字化的发展,工业智检会成为其中较为关键的一环,其数据联动环节会加深、数据价值会更加明显。


原文刊载于《智能制造》 2025年第1期 作者:彭先涛 邱奕博 金君良



读大数据应用最佳实践案例,赢数字经济未来!

18个行业,106个中国大数据应用最佳实践案例:

(1)《赢在大数据:中国大数据发展蓝皮书》;

免费试读:https://item.jd.com/12058569.html

(2)《赢在大数据:金融/电信/媒体/医疗/旅游/数据市场行业大数据应用典型案例》;

免费试读:https://item.jd.com/12160046.html

本册“微信读书”免费阅读:https://weread.qq.com/web/bookReview/list?bookId=f0532d707159f0dff058c4e

(3)《赢在大数据:营销/房地产/汽车/交通/体育/环境行业大数据应用典型案例》;

免费试读:https://item.jd.com/12160064.html

(4)《赢在大数据:政府/工业/农业/安全/教育/人才行业大数据应用典型案例》。

免费试读:https://item.jd.com/12058567.html

或点击“阅读原文”,购买“赢在大数据系列丛书”。

推荐文章


点击蓝色标题即可阅读全文

10万读者睿选:【2016年TOP100】【2015年TOP100】

CCTV大数据名人讲堂PPT&视频:【万亿元大数据产业】【安全】【城市】【农业】【航运】【数据资产变现】

DTiii:【3352家大数据产业地图PPT及下载】【TOP100】【亿元俱乐部】【中国大数据行业应用Top Choice 2019】【赢在大数据】
数字化转型: 工作手册,战略,路径,百家企业,零售,转型路,银行,人才,组织,工业,华为,
卡特彼勒,美的100亿,百丽,美的历程,美的PPT,华为数据之道, 转型战略,毕马威转型方法论,阿里方法论
元宇宙:清华大学元宇宙、北京大学元宇宙

 ChatGPT:官方使用手册 15美元使用指南 技术详解 工作原理

数据中台:凯哥八问,颠覆数据工程师,阿里,滴滴数据中台,中台报告,数据中台建设之道高峰论坛视频回放,富国银行和Netflix数据中台 民生银行数据中台

数据资产:德勤阿里数据资产评估,PPT阿里巴巴数据资产管理实践 ,阿里&毕马威PPT2021数据资产运营白皮书,数据资产目录建设之数据分类全解,数据资产管理的5个步骤和6个要素,普华永道:数据资产化前瞻性研究白皮书,【实践】商业银行数据资产管理体系建设实践报告,【行业】银行数据资产的数据治理,【案例】附表:芝麻信用元素表(DAS)列表及含义


院士:李国杰【(PPT)(全文)】【数据开放】,邬贺铨,倪光南【大数据时代(上)(下)】,怀进鹏,梅宏;

大数据100分:【金融 】【制造】【餐饮】【电信】【电商】【更多行业大数据应用请点击底部导航栏BD100分】;

大数据/人工智能数据竞赛:【Kaggle经验分享】【NetFlix百万美金】【Kaggle案例】【2017BDCI】【2017BDCI嘉年华】【2018BDCI嘉年华】【滴滴算法大赛】

征信:【ZestFinance】【BCG】【芝麻信用】;

工业4.0:【罗兰·贝格】【安筱鹏】

人工智能:【阿里&BCG】【埃森哲】【经济社会】【美国AI国家战略】【伯努利】【李开复 】【TOP100】【2016中国AI报告】【美国AI国家规划】【深度学习】【人智合一】【人脸识别】【人脸识别企业PK】【无人驾驶】【AI知识体系】【神经网络】

区块链:【TED视频】【麦肯锡】【毕马威】【高盛】【全球区块链报告】

算   法: 【10大经典算法】【推荐算法】

数据科学家:13个真实场景数据科学应用案例 ,数据科学家工具包,数据科学家成长指南上、中、下,让统计"看得见",21个面试题和答案

可视化:【2017年获奖】【2014年最佳】【十大标志性作品】【43款工具】

PPT:【大数据产业地图】【数据之巅】【互联网的未来】【软件正吃掉整个世界】【互联网思维】【互联网+】【一带一路】;

VC:【独角兽研究报告 】【大数据投资】【2015创投趋势】【2014投资报告】【倒闭教训】;

人才:【2018BD&人才报告】【2017BD&人才报告】

大数据应用最佳实践案例:【18个行业106个案例】

BDAI100:大数据AI产业创新与投资百人会(BDAI100),致力推动1000家亿元BDAI企业涌现、推动BDAI与100万亿实体经济的深度融合、加速10万亿数据经济腾飞(简称“BDAI100十百千工程”)

原创:【陈新河:万亿元大数据产业新生态】【软件定义世界,数据驱动未来】【数据交易】【互联网+观点】。

专题版本:20220608V3.91

底部新增导航菜单(点击顶部“软件定义世界(SDX)”,点击“进入公众号”,底部菜单栏即出现),下载200多个精彩PPT,持续更新中!

上下滑动查看更多精选专题内容

微信公众号:软件定义世界(SDX)

微信ID:SDx-SoftwareDefinedx

❶软件定义世界, 数据驱动未来;

❷ 大数据思想的策源地、数字化转型的指南针、创业者和VC的桥梁、政府和企业家的智库、从业者的加油站;

❸个人微信号:sdxtime,

邮箱:sdxtime@126.com;

=>> 长按右侧二维码关注。

底部新增导航菜单,下载200多个精彩PPT,持续更新中!

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/183094