社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

《深度人脸恢复》综述 | 全面阐述深度学习人脸恢复去噪、超分辨率、去模糊、去除伪影方法

CV技术指南 • 2 年前 • 993 次点击  

前言 来自南京大学等最新《深度人脸恢复》综述论文,全面综述了深度学习技术在人脸复原方面的最新进展。具体而言,论文首先总结了不同的问题公式,并分析了人脸图像的特征。其次,讨论了人脸复原面临的挑战。

模型部署交流群:732145323。用于计算机视觉方面的模型部署、高性能计算、优化加速、技术学习等方面的交流。

转载自专知

人脸恢复(Face Restoration, FR)旨在从低质量(Low-Quality, LQ)输入图像中恢复高质量(High-Quality, HQ)的人脸,这是低层次计算机视觉领域中一个特定领域的图像恢复问题。早期的人脸恢复方法主要采用统计先验和退化模型,在实际应用中难以满足实际应用的要求。

近年来,人脸修复技术在进入深度学习时代后取得了长足的进展。然而,系统研究基于深度学习的人脸恢复方法的工作还很少。因此,全面综述了深度学习技术在人脸复原方面的最新进展。具体而言,我们首先总结了不同的问题公式,并分析了人脸图像的特征其次,讨论了人脸复原面临的挑战

针对这些挑战,我们对现有的FR方法进行了全面的回顾,包括基于先验的方法和基于深度学习的方法。然后,我们探讨了FR任务中开发的技术,包括网络架构、损失函数和基准数据集。我们还对有代表性的方法进行了系统的基准评价。

最后,我们讨论了未来的方向,包括网络设计、度量、基准数据集、应用程序等。我们还为所有讨论过的方法提供了一个开源存储库,可在

https://github.com/TaoWangzj/Awesome-Face-Restoration获得。


1. 概述

人脸恢复是一种特定领域的图像恢复问题,是图像处理和计算机视觉领域的经典课题。人脸复原是从退化的人脸图像中恢复出高质量的人脸图像Ihq,其中D为噪声无关的退化函数,nδ为加性噪声。根据退化函数D的不同形式,人脸复原任务可分为五大类:(1)人脸去噪,即去除人脸图像[1],[2]中包含的噪声(如高斯噪声),(2)人脸去模糊,即从由相机抖动或物体运动[3],[4]等各种因素造成的模糊人脸图像中恢复潜在的锐利人脸图像,(3)人脸超分辨率(也称为人脸幻觉[5]),旨在提高低分辨率人脸图像[6],[7]的质量和分辨率,(4)人脸伪影去除。即从给定的低质量的人脸图像中恢复高质量的人脸图像[8],[9],(5)人脸盲复原是指在不知道退化类型或参数[8],[9]的情况下,从低质量的人脸图像中恢复高质量的人脸图像。图1展示了由这些退化形式造成的低质量人脸图像的示例,这些退化不仅影响视觉质量,而且影响下游计算机视觉算法的性能。因此,人脸修复具有广泛的应用,包括人脸识别[10],隐私保护[11],自动驾驶[12]。

早期的人脸复原方法主要集中在统计先验和退化模型上,大致可分为基于贝叶斯推理的方法[6]、[13],基于子空间学习的方法[14]、[15],基于稀疏表示的方法[16]、[17]等。近年来,随着深度学习的发展和大规模数据集的可用性,基于深度学习的方法受到了越来越多的关注。因此,文献中已经提出了大量基于深度学习的人脸恢复方法。一般来说,基于深度学习的人脸恢复方法采用不同的技术来构建最先进的网络。所采用的技术主要集中在以下几个方面:不同的深度学习架构[7],[18],[19],[20],不同的面部先验[21],[22],[23],[24],不同的损失函数[21],[25],[26],[27],不同的学习策略[28],[29]等。虽然近年来深度学习解决方案在人脸修复研究中占据主导地位,但运用深度学习技术进行人脸修复的深入、全面的研究还比较缺乏。因此,本文对深度学习方法在人脸修复中的应用进行了全面、系统的综述。

本文系统、全面地回顾了近年来人脸修复技术的研究进展。本次综述的分类如图2所示。我们从不同的方面进行综述,包括问题的制定、现有的挑战、最新的方法、技术发展、性能评估和未来的方向。本文的贡献总结如下。(一)讨论了人脸复原中主要的退化模型、常用的指标以及人脸图像与自然图像的区别。(II)我们讨论了人脸修复中存在的挑战,并对现有的基于深度学习的人脸修复方法进行了全面概述。(三)我们对方法的技术发展进行深入分析和讨论。

2. 人脸复原方法

通用图像恢复方法旨在设计高效的自然图像恢复方法。然而,人脸作为一个高度结构化的对象,具有特定的特征,这是一般的图像恢复方法所忽略的。因此,大多数的人脸恢复方法都是结合人脸先验知识来恢复更清晰的人脸结构。在模型中开发的人脸特定先验主要基于人类面部在受控环境中表现出微小变化的常识。另一方面,也有一些方法旨在开发网络来学习无人脸先验的低质量和高质量人脸图像之间的映射函数。近年来面部修复的里程碑如图5所示。我们将人脸恢复方法分为两类:基于先验的深度恢复方法和基于非先验的深度学习方法。此外,基于先验的深度恢复方法大致可分为三组:基于几何先验的深度恢复方法、基于参考先验的深度恢复方法和基于生成先验的深度恢复方法。人脸修复方法总结如表2所示。下面,我们将详细讨论这些方法。

3. 技术发展概览

在本节中,我们从以下几个方面讨论了现有的人脸恢复的发展: 网络架构、基本块、损失函数和基准数据集

网络体系结构

现有的最先进的网络是通过专注于面部先验、预训练GAN模型和Vit架构来设计的

在人脸修复领域,设计了不同类型的基本块来构建强大的人脸修复网络。

为了优化人脸修复网络,文献中提出了许多损失函数。一般来说,现有方法中使用的损失函数可以大致分为像素损失、感知损失、对抗性损失和面部特定损失。

数据集

实验性能

4. 结论

在这项工作中,我们系统地研究了使用深度学习的人脸复原方法。我们讨论了不同的退化模型、人脸图像的特征、人脸恢复的挑战,以及现有的基于几何先验的方法、基于参考先验的方法、基于生成先验的方法和基于非先验的方法的核心思想。在全面回顾人脸恢复方法的基础上,从网络结构、基本块、损失函数和基准数据集等方面探讨了人脸恢复方法的先进技术。我们还评估了合成和现实数据集上的代表性方法。最后,我们讨论了未来的方向,包括网络设计、度量、基准数据集、应用程序等。


若觉得还不错的话,请点个 “赞” 或 “在看” 吧

其它文章

语义分割该如何走下去?

轻量级模型设计与部署总结

如何在CV技术指南效率最大化学习计算机视觉

ECCV2022 | 重新思考单阶段3D目标检测中的IoU优化

目标检测模型的评价标准总结

Vision Transformer和MLP-Mixer联系和对比

Visual Attention Network

长尾分布专栏【一】长尾(不均衡)分布下的分类问题简介

《图神经网络分布式训练》综述,阐述分布式GNN训练技术

详细解读:MIT经典的语义分割数据集ADE20K

入门必读系列(十六)经典CNN设计演变的关键总结:从VGGNet到EfficientNet

入门必读系列(十五)神经网络不work的原因总结

入门必读系列(十四)CV论文常见英语单词总结

入门必读系列(十三)高效阅读论文的方法

入门必读系列(十二)池化各要点与各方法总结

TensorRT教程(一)初次介绍TensorRT

记录一下2023届算法岗寒气逼人的秋招

3D目标检测多模态融合算法综述
CMU最新《多模态机器学习的基础和最新趋势》综述
度量学习中关于排序损失函数的综述
7大类卷积神经网络(CNN)创新综述
时序异常检测综述整理(2020-2021)
深度学习框架下群组行为识别算法综述
使用深度学习进行基于图像的三维重建的最新综述
遥感中的 Transformers 综述
「深度学习3D点云处理」最新2022进展综述
研究综述:工业缺陷检测深度学习方法
芯片缺陷检测综述
综述 | 机器视觉表面缺陷检测
行为识别综述

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/149846
 
993 次点击