深度学习的图像修复

本文为 AI 研习社编译的技术博客，原标题：
Image Inpainting with Deep Learning
作者 | Tarun Bonu
翻译 | 许毅
校对 | 邓普斯•杰弗审核 | 酱番梨整理 | 立鱼王
原文链接：
https://medium.com/jamieai/image-inpainting-with-deep-learning-dd8555e56a32
注：本文的相关链接请访问文末二维码

机器能够产生幻觉。机器这样的能力可以帮助我们开发一些技术，例如图像修复。

什么是图像修复？

修复指的是恢复图像损失的部分并且基于背景信息将它们重建的技术。它指的是在视觉输入的指定区域中填充缺失数据的过程。在数字世界中，它指的是应用复杂算法以替代图像数据中缺失或者损坏部分。

在数字效果图像复原，图像编码和传输的应用中，图像修复已经被广泛地研究。

给定上面的图像，我们怎么样填补缺失的信息呢？想象我们正在建造一个填补元件的系统。系统该如何做呢？人类的大脑该如何做呢？我们需要使用哪种类型的数据呢？这些都是我们需要思考的问题以解决图像修复这样的问题。

有两种类型的信息需要关注：

情景信息
感知信息

传统修复

传统上，图像修复可以使用基于扩散方法来处理，这种方法将局部结构传播到位置部分，或者基于示例的方法，每一次构建缺失部分的一个像素点（块）同时保持和周围像素点的一致性。

当缺失部分很大时，这些方法会失效，因此需要一个额外的部件提供合理的想象力（来自机器的幻觉）。这些附加的信息可能是由自然图像的高阶模型提供，例如由深度神经网络计算的那些。

应用深度神经网络实现

在这个方法中，我们依赖预训练神经网络的幻觉来填补图像中的大洞。深度神经网络使用监督图像分类。在监督图像分类中，每个图像都有一个特定的标签，并且神经网络通过一连串的基本操作运算来学习图像到标签之间的映射。当在巨大的数据集（数百万张带有成千个的标签的图像）上被训练后，神经网络具有卓越的分类表现并且偶尔可以超越人类的准确率。实施一个判别式预训练的神经网络来指导图像重建，其中神经网络的最后一层在图像修复问题中被直接运用。