作者：洛洛 | 来源：3DCV
在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接
添加微信：dddvision，备注：结构光，拉你入群。文末附行业细分群
1、导读
传统的相位测量偏折测量技术在测量低反射率的表面和复杂曲面时存在一些问题。低反射率表面的捕获的条纹图案质量很差，无法正确提取相位。而复杂曲面会产生包含闭环和开环特征的复杂反射条纹图案，使得传统的单次拍摄相位测量方法难以获取相位。因此，本研究旨在利用深度学习技术解决这些问题，提出一种基于深度学习的单次拍摄相位测量偏折测量方法，以实现对复杂自由曲面的三维测量。
2、研究内容
一种基于深度学习的单次拍摄相位测量偏折测量法用于复杂自由曲面的三维测量。文章介绍了目前单次拍摄偏折测量法存在的两个主要问题：低反射率镜面表面的测量和复杂曲面的测量。为了解决这些问题，研究团队采用了低频率的复合光栅图案来提高低反射率表面的光栅可见度，并利用深度学习方法处理复杂曲面的相位测量。通过深度学习网络的训练和优化，可以实现单次拍摄下复杂曲面的三维测量和缺陷检测。
3、方法
利用深度学习网络模型DYnet++从单个复合图案中获取相位信息。为了训练深度学习模型，作者使用了一个具有九个致动器的可变形镜来生成各种表面形状的大量数据。通过将测量结果与16步相移法的结果进行比较，验证了所提出的基于深度学习的单次拍摄偏转测量方法的可行性。该方法的优点是可以在单次拍摄中获取复杂表面的相位信息，避免了传统相移法需要多张图像的缺点。深度学习网络模型能够学习并理解复杂的图案特征，从而准确地提取相位信息。这种方法在工业环境中具有广泛的应用前景，可以提高测量效率和准确性。需要注意的是，该方法目前还处于研究阶段，可能还存在一些局限性和改进空间。但是，基于深度学习的单次拍摄偏转测量方法在解决复杂表面测量问题方面具有很大的潜力，并且在实际应用中可能会得到更多的发展和改进。
3.1、偏转法表面测量原理
偏转法表面测量是一种用于测量光滑自由曲面的斜率测量技术。它使用屏幕（LCD屏幕）来显示调制的正弦条纹图案，该图案投射到被测曲面上，然后由相机接收反射的条纹图案。通过这种方式，我们可以获得曲面的斜率进行分析。如果我们可以获得两个正交的曲面斜率，就可以通过积分来重建曲面的形状和尺寸。对于缺陷检测，不仅需要检测曲面上的缺陷，还需要确定缺陷的形状和尺寸。因此，我们需要将两个正交的条纹图案（称为和图案）投射到被测曲面上，以获得曲面的斜率进行积分。传统上，使用相移方法来获取和方向上的曲面相位，因为它具有像素级的相位恢复和高分辨率。捕获的条纹图案可以通过以下数学表达式表示：
其中，和分别是捕获的和条纹图案的光强度；是相机的像素坐标；和
是背景，和 是条纹调制；和是和方向上的相位；是相移数（），是相移的总数。通过这些捕获的条纹图案，可以通过以下公式恢复和方向上的相位：
其中，和是和的包裹相位。它们需要使用空间相位展开算法进行展开。是相移值。通常情况下，如果相移步数N越大，恢复的相位精度越高。
3.2、DYnet++
DYnet++是一种基于深度学习的单次拍摄相位测量偏折测量方法，用于测量低能见度和复杂镜面表面。DYnet++深度学习网络，用于从单个低频复合条纹图案中获取相位进行表面测量。DYnet++网络接受一个输入，即捕获的低频复合条纹图案，并输出每个解码器路径中的两个分子和两个分母项。通过训练过程，每个解码器路径将具有预测分子和分母的最佳参数。然后，通过这些量的反正切计算出x和y的包裹相位。DYnet++网络的结构受到Ynet和Unet++的启发。我们试图结合这些网络的优点来进行相位检测。DYnet++网络在Unet++的基础上添加了一个解码器路径，使其对称化。
3.3、DM
在这篇论文中，作者使用了可变形镜面（DM）来生成训练数据集。DM是一个可以通过施加力来改变形状的金属板。通过改变DM的形状，可以改变捕获到的条纹图案。使用DM生成训练数据的优点是可以快速生成大量的训练数据，只需改变镜面的形状即可。作者首先在液晶显示屏上显示复合图案，然后通过相机捕获反射的图案作为训练数据的输入。然后，作者使用相位移方法在x和y方向上显示16步的相位移图像，作为训练数据的真值。对于每个输入复合图案，相应的输出将是，，和。通过改变的形状，可以生成不同的训练数据。作者通过改变每个致动器的位置1000次来随机改变的形状，从而生成了总共4000个训练图像和真值。使用这种方法生成训练数据，网络可以学习如何从单个复合图案中预测正确的分子和分母。
4、实验结果
使用TensorFlow和Keras 2.8.0深度学习库实现了DYnet++。训练过程在一台配备Intel Core i9-12900K CPU、64 GB RAM和Geforce RTX-3090 GPU（NVIDIA）的台式计算机上进行。他们使用了不同形状的变形镜（DM）生成了训练数据集，总共生成了4000个训练图像和对应的地面真值。训练数据集的大小为320×240像素。他们使用了均方误差作为损失函数，并使用平均绝对误差作为评估指标。训练总共耗时约12小时。
在测试中，他们使用了与训练和验证数据不同的变形镜生成的复合图案作为输入。他们展示了一些测试结果，并与地面真值进行了比较。结果显示，DYnet++方法在形状重建方面与传统的16步相移方法相比具有相似的性能，而16步相移方法需要32张相移图像。此外，他们还进行了低可见度表面的测量和缺陷检测实验，结果表明DYnet++可以从单次复合图案中检测出小的缺陷。总的来说，DYnet++方法通过深度学习实现了单次拍摄相位测量偏折测量，具有较好的性能和应用潜力。
5、总结
我们的研究提出了一种基于深度学习的单次偏转测量方法DYnet++，能够测量和检测复杂自由曲面。这种方法具有广泛的适用性和高效的性能，可以在实时或高速环境下进行复杂曲面的测量和检测。
下载1
在公众号「3D视觉工坊」后台，回复「3d001」,即可获取工业3D视觉（结构光、缺陷检测、三维点云）、SLAM（视觉/激光SLAM）、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文。
下载2
在公众号「3D视觉工坊」后台，回复「3d002」,即可获取巴塞罗那自治大学3D视觉课件、慕尼黑工业大学3D视觉和视觉导航精品课件。
下载3
在公众号「3D视觉工坊」后台，回复「3d003」,即可获取相机标定、结构光、三维重建、激光-视觉-IMU-GPS多模态融合SLAM、LOAM、ORB-SLAM3，深度估计、模型部署、3D目标检测等学习课件。注：非完整版。
高效学习3D视觉三部曲
第一步 加入行业交流群，保持技术的先进性
目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：
[工业3D视觉]相机标定、立体匹配、三维点云、结构光(面/线/散斑)、机械臂抓取（2D/3D）、2D缺陷检测、3D缺陷检测、6D位姿估计、相位偏折术、Halcon、光场重建、摄影测量、阵列相机、偏振三维测量、光度立体视觉、激光雷达、综合群等。
[SLAM]视觉SLAM、激光SLAM、ORB-SLAM、Vins-Fusion、LOAM/LeGo-LOAM、cartographer、VIO、语义SLAM、滤波算法、多传感器融合、多传感器标定、MSCKF、动态SLAM、MOT SLAM、NeRF SLAM、FAST-LIO、LVI-SAM、LIO-SAM、事件相机/GPS/RTK/UWB/IMU/码盘/TOF（iToF/dToF）/激光雷达/气压计/毫米波雷达/RGB-D相机/超声波等、机器人导航、综合群等。
[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪、综合群等。
[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
[无人机]四旋翼建模、无人机飞控等
除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群
大家可以添加小助理微信: dddvisiona，备注：加群+方向+学校|公司, 小助理会拉你入群。
添加小助理微信：dddvisiona，加群+方向+学校|公司，拉你入群第二步 3D视觉从入门到精通系统课程
目前3D视觉工坊平台针对各个方向的知识点，打造了多门从理论到实战课程，包括：
基础入门课程：C++、Linux、相机标定、ROS2、dToF工业3D视觉课程：面结构光、线结构光、散斑结构光、相位偏折术、机械臂抓取、三维点云(PCL和Open3D)、缺陷检测-
SLAM课程：LeGo-LOAM、LOAM、LVI-SAM（激光-视觉-IMU-GPS融合SLAM）、Vins-Fusion、ORB-SLAM3、室内/室外激光SLAM等 自动驾驶课程：多传感器标定、视觉Transformer、单目深度估计、3D目标检测、模型部署等。
注：工坊现面向平台所有读者招募主讲老师，奖励丰厚，具体详情可以可以参考：3D视觉主讲老师招募
3D视觉精品课程，包括工业3D视觉、SLAM、自动驾驶、三维重建、无人机等，地址：www.3dcver.com 贴心小管家微信：cv3d007第三步 加入知识星球，问题及时得到解答
「3D视觉从入门到精通」知识星球，依托于微信公众号「3D视觉工坊」、「计算机视觉工坊」、「3DCV」平台，星球内除了包含3D视觉独家秘制视频课程（近20门，包括三维重建、三维点云、手眼标定、相机标定、3D目标检测、深度估计、ORB-SLAM3、Vins-Fusion、激光-视觉-IMU-GPS融合、机械臂抓取等）、3D视觉项目对接、3D视觉学习路线、最新论文&代码分享、入门书籍推荐、源码汇总、最新行业模组分享、编程基础&作业、求职招聘&面经&面试题等，更有各类大厂的算法工程人员进行技术指导。目前星球铁杆粉丝已近6000+，让我们一起探索更其妙的3D视觉技术、为祖国的创新发展贡献自己的一份力。知识星球入口：3D视觉从入门到精通
