Py学习  »  Git

Github 趋势榜第一,英伟达推出人脸生成器二代,性能全面优化!

SegmentFault • 4 年前 • 453 次点击  



所谓的人脸合成,技术上并不新鲜。


早在 2017 年 12 月,国外某 ID 名为「deepfakes」的 Reddit 论坛用户,就首次发布了自己制作的 AI 换脸视频。它能够把照片和视频中的人脸替换成任何想要替换的人脸,且效果十分逼真。


今年3月,国内知名视频网站 blibli 流传出一段视频:电影《射雕英雄传》(1994年版)朱茵主演的黄蓉,被视频制作者通过「AI换脸术」处理成了杨幂的脸。这一话题当时还冲上了微博热搜。


但把人脸合成技术做的最好的,毫无疑问是英伟达推出的 StyleGAN 了。



自 2018 年 12 月英伟达推出 StyleGAN 以来,合成人脸已经让人难以轻易分辨。特别是今年年初,英伟达开源了 StyleGAN 的代码,大量真假难辨的人脸被开发者「创造」出来。


StyleGAN 生成的图像非常逼真,它是一步一步地生成人工的图像,从非常低的分辨率开始,一直到高分辨率(1024×1024)。通过分别地修改网络中每个级别的输入,它可以控制在该级别中所表示的视觉特征,从粗糙的特征(姿势、面部形状)到精细的细节(头发颜色),而不会影响其它的级别。同时这种生成器也可以用于将同样的机器学习应用到其他动物、汽车甚至房间中。


然而,StyleGAN 并不完美,最明显的缺陷是生成的图像有时包含斑点似的伪影(artifacts)。



而这一缺陷今天也被完美解决了!




StyleGAN 升级版 —— StyleGAN2


近日,英伟达的研究人员发布了 StyleGAN 的升级版 —— StyleGAN2,并且全面进行了修复与优化:

- 更快的训练速度;

- 新生成的图像的质量非常高(更高的 FID 分数和更少的伪像)

- 更好的 Style-mixing

- 插值更平滑(额外的正则化)

- 牙齿、眼睛等细节更完美

可以看到,除了重点修复伪像问题外,还进一步提高了生成图像的质量,提升了训练速度。


StyleGAN2 一推出,很快就登上了 GitHub 趋势榜的第一名,目前 Star 数已经达到 1.4K。



具体如何实现的提升与优化,感兴趣的朋友可以读一下官方放出来的文档。并且二代产品依然是开源的,可以去试一试,实现自己大胆的想法

论文传送门:

https://arxiv.org/abs/1912.04958

代码传送门:

https://github.com/NVlabs/stylegan2




技术背后的风险



以前 AI 很遥远,而人脸合成则让我们真真切切感受到了 AI。这是技术最大的贡献,同时,带来的可能也是最大的风险。


人脸合成技术不可怕,但如果别人根据你的特征捏一张你的脸,再「嫁接」到别人身上,做一些不可言说的事情,后果不堪设想...如果技术被在普通女性身上,可能将会造成更大的伤害。


那么,我们又该如何规范这种随着 AI 技术而来的风险呢?


国家层面上,之前的全国人大常委会审议的《民法典人格权编(草案)》里,正式增加了一条内容“任何组织和个人不得以利用信息技术手段伪造的方式侵害他人的肖像权。


显然,这里可以伪造肖像的信息技术不仅包含传统的PS等图片处理软件,也有 StyleGAN 这一类 AI 换脸模型。


草案的第八百零三条也被修改为:其他人格权的许可使用和自然人声音的保护,参照适用本章的有关规定。


不仅仅是脸,声音也不能随便换。


此外,法律还明确的规范了违法的边界。


新华社援引中国人民大学法学院教授杨立新的话说,草案明确规定,未经肖像权人同意,不得制作、使用、公开肖像权人的肖像,但是法律另有规定的除外。


而现行的《民法通则》中,只规定了“未经本人同意,不得以营利为目的使用公民的肖像。”


也就是说,如果上述两个增加的条目在后续的立法流程中没有更改,那么当《民法典》正式实行后,除了法律另有规定的情况, 如果被换脸的人没有同意,而你用了拍摄、绘画、P图、StyleGAN、鬼畜等各种方式处理TA的脸,你就违法了,就算不以营利为目的也一样。


科技是把双刃剑,面对新鲜事物,不仅仅要有未雨绸缪的危机感,更要积极主动地去认识它、并建立一套合理有序的制度去规范它。


毕竟技术本身无罪,打破底线制造危险的,多数是不可控的人心。

- END -

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/51494
 
453 次点击