Light | 深度学习相位恢复

Banner 推广

撰稿 | 课题组撰稿

导读

从定量相位成像和相干衍射成像到自适应光学，相位恢复都至关重要。相位恢复是指从强度测量中恢复光场的相位分布。近年来，以深度神经网络为主要载体的深度学习方法为相位恢复问题提供了前所未有的支持。近日，来自中国和美国的研究团队以“On the use of deep learning for phase recovery”为题在Light: Science and Applications发表综述论文，对基于深度学习的相位恢复与处理方法进行了总结和展望。香港大学王凯强博士为论文的第一作者和通讯作者，香港大学林彦民教授和西北工业大学赵建林教授为论文的通讯作者，其他主要作者包括香港中文大学周仁杰副教授，广东工业大学邸江磊教授，麻省理工学院乔治·巴巴斯塔西斯教授等。

什么是相位恢复？为什么要相位恢复？

通常，图像传感器和人眼通过光电转换效应来感知和记录光场的强度分布，其取决于样品的透射率和反射率分布（如图1a和1b）。但是，由于远低于光波频率的采样频率，光场的相位信息无法被直接感知和记录。而很多应用场景下，光场的相位分布中承载了重要的样品信息，比如弱吸收透明样品的厚度或折射率分布（如图1c），大气湍流引起的畸变波前分布（如图1d和1e），非透明样品的表面轮廓分布（如图1f）等。

图1 光从不同的样品透过或反射。(a)具有透射率分布的样品，(b)具有反射率分布的样品，(c)具有折射率或厚度分布的样品，(d)透射率均匀分布的样品，(e)透射率均匀分布的样品和大气湍流，(f)具有表面轮廓分布的样品。图片来自该文。

幸运的是，相位延迟会随着光场的传播引起强度分布的变化。因此，可以从记录的光场强度分布中“反推”出相应的相位分布，即所谓的相位恢复。实际上，相位恢复在不同的领域中有不同的叫法，比如生物医学成像领域的定量相位成像，相干衍射成像领域的相位检索，以及自适应光学领域的波前传感。

传统的相位恢复方法

作为一个典型的逆问题/反问题，从强度测量中直接恢复光场的相位分布通常是不适定的。一方面，可以通过引入额外的信息将其转换成一个适定问题，比如引入额外已知光场作为参考光的全息干涉法，引入额外微透镜阵列的夏克-哈特曼波前传感法，以及引入额外离焦强度信息的 强度传输方程法。另一方面，可以通过迭代优化的方式直接从强度测量中检索出光场的相位分布，即相位检索法。

全息干涉法以同轴全息术和离轴全息术为代表，其中同轴全息术从记录的多幅具有不同相位延迟的全息图中计算出光场的相位分布（如图2a），而离轴全息术通过频域滤波的方式去除孪生像并恢复光场的相位分布（如图2b）。

夏克-哈特曼波前传感法以几何光学的视角从微透镜阵列的焦点偏移量中推算出各个区域的相位梯度，进而通过积分求出整个光场的相位分布（如图2c）。

强度传输方程法从焦平面及其附近的强度图中得到强度的轴向微分，进而将其代入强度传输方程直接求解出相应的相位分布（如图2d）。

相位检索法以交替投影算法为代表，其通过光场传播方程在两个或多个平面之间交替迭代，并在每次迭代中用引入的先验知识更新光场信息，逐渐缩小解空间直至最终检索出正确的光场相位分布（如图2e和2f）。

图2 传统的相位恢复方法。(a)同轴全息术，(b)离轴全息术，(c)夏克-哈特曼波前传感法，(d)强度传输方程法，(e, f)相位检索法。图片来自该文。

作为交替投影算法的进一步拓展，可以从轴向（如图3a）、径向（如图3b）和角向（如图3c）三种维度采集更多强度图作为额外的正则化约束，从而进一步降低相位检索的不适定性，得到更精确的结果。

图3 高阶交替投影相位检索算法。(a)轴向多强度法，(b)径向多强度法，(c)角向多强度法。图片来自该文。

基于深度学习的相位恢复与处理方法

根据深度神经网络的使用位置，该文从以下四个角度回顾了基于深度学习的相位恢复与处理方法：

深度学习预处理法（该文第二部分）：在相位恢复前，使用深度神经网络对测量强度图进行一些预处理，例如像素超分辨（如图3a）、降噪、全息图生成和自动对焦。

深度学习参与执行法（该文第三部分）：一方面，可以使用深度神经网络直接执行相位恢复（图3b），即输入测量强度图，输出相位图；另一方面，可以使用深度神经网络与物理模型（或基于物理模型的算法）联合执行相位恢复。

深度学习后处理法（该文第四部分）：在相位恢复后，使用深度神经网络进对相位图进行一些后处理，例如降噪（图3c）、分辨率增强、像差校正和相位展开/解包裹。

深度学习相位处理（该文第五部分）：以恢复的相位图作为输入，使用深度神经网络进行一些特定的应用，例如分割（图3d）、分类和成像模态转换。

图4 基于深度学习的相位恢复与处理方法。(a)深度学习预处理法，(b)深度学习参与执行法，(c)深度学习后处理法，(d)深度学习相位处理。图片来自该文。

作为该文的重点部分之一，深度学习参与执行法又可以分为如下几种策略：

数据驱动的神经网络法(即该文中的Data-driven, DD)：通过匹配或非匹配的（强度图-相位图）成对数据集作为隐式先验驱动神经网络的训练，从而学习从测量强度图到相位图的映射关系。

物理驱动的神经网络法(即该文中的Physics-driven, PD)：通过物理模型作为显式先验驱动神经网络的训练，从而学习从测量强度图到相位图的映射关系，无需（强度图-相位图）成对数据集。这种策略既可以直接用一个初始化的神经网络对待测样本进行相位恢复（即该文中的untrained physics-driven, uPD），也可以用物理模型和多个测量强度图对神经网络进行预训练，然后将训练好的神经网络用于待测样本的相位恢复（即该文中的trained physics-driven, tPD）。

物理模型串联神经网络法(即该文中的Physics-connect-network, PcN)：神经网络的作用是去除初始估计相位中含有的伪影和噪声。而初始相位通常是用物理模型得到的，并且所使用的神经网络需要（初始相位图-相位图）成对数据集进行预训练。

神经网络嵌入物理模型法(即该文中的Network-in-physics, NiP)：经过训练或未经训练的神经网络在基于物理模型的迭代算法中作为降噪器、结构先验或生成先验。

物理模型嵌入神经网络法(即该文中的Physics-in-network, PiN)：基于物理模型的迭代算法被展开为可解释的神经网络架构。尽管这个策略将物理先验知识集成到神经网络中，但它仍然需要（强度图-相位图）成对数据集来训练神经网络。

上述深度学习参与执行法的所有策略总结在如下表格中（译自该文的表4）：

最后，该文从数据集、神经网络、损失函数、可解释性、不确定性等方面对基于深度学习的相位恢复方法进行了总结和展望。此外，还讨论并展望了如下问题：数据驱动神经网络法和物理模型串联神经网络法的优缺点、从电子神经网络到光学神经网络以及硬件成像系统的固有缺陷。

作为补充和拓展，该文发布了一个关于相位恢复的实时更新资源（https://github.com/kqwang/phase-recovery），欢迎任何感兴趣者提交更新。

论文信息

该文章发表在国际顶尖学术期刊《Light: Science & Applications》，题为“On the use of deep learning for phase recovery”。香港大学王凯强博士为论文的第一作者和通讯作者，香港大学林彦民教授和西北工业大学赵建林教授为论文的通讯作者，其他主要作者包括香港中文大学周仁杰副教授，广东工业大学邸江磊教授，麻省理工学院乔治·巴巴斯塔西斯教授等。

论文地址

‍‍https://www.nature.com/articles/s41377‍-023-01340-x

论文传送门在此，请进>>>

编辑 | 孙婷婷

欢迎课题组投稿——新闻稿

文章转载/商务合作/课题组投稿，微信：447882024

高被引文章统计

如下数据来自Web of Science，Light: Science & Applications的高被引文章数量在国内同类期刊中稳居领军地位。截至目前：

超过2000次引用的文章有1篇

https://doi.org/10.1038/lsa.2014.99

超过1000次引用的文章有2篇

https://doi.org/10.1038/lsa.2014.30

超过800次引用的文章有3篇

https://doi.org/10.1038/lsa.2016.133

超过700次引用的文章有4篇

https://doi.org/10.1038/lsa.2014.48

超过600次引用的文章有7篇

https://doi.org/10.1038/lsa.2017.141

https://doi.org/10.1038/lsa.2013.28

https://doi.org/10.1038/lsa.2017.168

超过500次引用的文章有9篇

https://doi.org/10.1038/s41377-020-0341-9

https://doi.org/10.1038/lsa.2015.67

超过400次引用的文章有20篇

https://doi.org/10.1038/lsa.2013.26

https://doi.org/10.1038/lsa.2014.42

https://doi.org/10.1038/lsa.2016.17

https://doi.org/10.1038/lsa.2015.97

https://doi.org/10.1038‍/lsa.2014.46

https://doi.org/10.1038/lsa.2014.60

https://doi.org/10.1038/lsa.2015.30

https://doi.org/10.1038/lsa.2012.1

https://doi.org/10.1038/lsa.2016.76

‍https://doi.org/10.1038/s41377-018-0078-x‍

‍https://doi.org/10.1038/lsa.2015.131‍

超过300次引用的文章有43篇

超过200次引用的文章有94篇

超过100次引用的文章有286篇

超过50次引用的文章有558篇

欢迎课题组投宣传稿

请扫码联系值班编辑

企业微信-圆圆.jpg

👇 关注我 👇

点亮“赞”和“在看”，文章更新不错过