责编 | 兮 生命现象中许多重要的过程，例如心跳、血流、神经活动等，常常是高度动态的，在三维空间尺度和短至毫秒级的时间尺度发生变化。对这些动态过程进行快速、高分辨率的显微观测则是一项极具意义但又极富挑战的工作，其进展对于神经科学、心脏病学、细胞生物学等领域的研究起到重要的推动作用。目前主流的光学显微成像技术，如共聚焦、双光子、光片显微镜均需通过轴向扫描获取多帧平面图像来重建三维信号，因此体成像的速率通常被限制在秒至分钟级，难以捕捉动态生物学过程。 针对上述问题，2021年2月11日，华中科技大学费鹏课题组联合华中科技大学高尚邦及加州大学洛杉矶分校Tzung Hsiai课题组，在Nature Methods上发表了题为“Real-time volumetric reconstruction of biological dynamics with light-field microscopy and deep learning”的研究论文，提出一种基于深度学习的光场成像方法，实现了对动态过程的长时程、快速、高分辨率的三维观测。该研究使用无需扫描的光场三维显微术【1】，以百赫兹帧率记录样本的动态过程，同时首创一种基于深度学习的视角-通道-深度（view-channel-depth, VCD) 信息转换神经网络，可从记录的二维光场图像序列中复原出时变信号的三维分布，进而重建出三维的快速动态过程。该方法突破了目前三维成像技术因空间带宽积（光学通量）的限制而导致的快速和精准难以兼顾的问题，成功以单细胞分辨率捕捉了活体样本的毫秒级三维动态生物学过程，且二-三维图像重建的速度高达数十体积每秒，实时性高。
下图1展示了光场成像结合深度学习VCD重建的整体工作流程。毫秒级的动态过程由一台自研的光场显微镜获取，通过在探测光路中加入一枚微透镜阵列对探测光进行调制，光场显微记录的单张二维图像中可同时包含样本信号的强度和角度信息，辅以合适的算法处理后可重建出样本的三维深度图像，从而显著提升体成像的速度。针对光场重建从角度里提取深度信息的特点，该工作基于深度学习模型构建了一套新颖的“视角提取→特征学习→深度复原”光场重建逻辑。利用神经网络对从单张光场二维图像中拆分出的多视角二维图像到三维标签图像的转化过程进行迭代学习。训练完备的VCD网络即可根据单张光场图像直接复原出三维高分辨率图像（图1b）。得益于深度学习的标签数据导向特性，该方法较少受系统光学衍射的限制，在保持光场成像高时间分辨率的同时，显著提高了三维重建图像的质量。而无需迭代的快速重建能力亦适合实时处理长时程记录的光场视频。相较于经典的迭代光场去卷积重建算法（Light field deconvolution, LFD），重建速度提高3个数量级，重建图像空间分辨率提升2倍, 且伪影显著地减少【2】。
1. Levoy, M., Ng, R., Adams, A., Footer, M. & Horowitz, M. Light field microscopy. ACM Trans. Graph. 25, 924-934 (2006).2. Prevedel, R. et al. Simultaneous whole-animal 3D imaging of neuronal activity using light-field microscopy. Nat. Methods 11, 727-730 (2014).
