点击下方 卡片 ，关注“ CVer ”公众号
AI/CV重磅干货，第一时间送达
本文 作 者 ：李英伟| 来源：知乎（已获作者授权）
https://zhuanlan.zhihu.com/p/361180249
奥巴马被AI复原成了白人 当时这件事在推特上被炒到如火如荼，与此同时我们也在进行着一项与「减少偏见」（debias）相关的研究。今天就来介绍一下我们这项发表在ICLR 2021的工作
Shape-Texture Debiased Neural Network Training
Yingwei Li @李英伟, Qihang Yu, Mingxing Tan, Jieru Mei, Peng Tang, Wei Shen, Alan Yuille, Cihang Xie @Cihang Xie
https://arxiv.org/abs/2010.05981
这是GitHub链接（求star！）：
https://github.com/LiYingwei/ShapeTextureDebiasedTraining
求各位同（大）学（佬）尽情转（引）发（用）！！
1. CNN有「偏见」 如果在CV领域提到「偏见」（bias）这个词，绕不开的工作是：ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness。这篇论文提到在ImageNet这个数据集上训练得到的模型会偏向于只「看到」图片的纹理。例如下图（c）所示，当给CNN看一只披着大象纹理的猫猫 ，CNN会认为是一只大象。
2. 没有偏见的模型更优 我们的工作旨在解决上述问题，由于comunity一般在「形状」和「纹理」这一对因素上研究较多，我们也选取它们来进行研究。首先我们重新研究了形状和纹理这两要素在计算机视觉任务中的作用。通过观察图3热度图可知，偏向形状的模型（shape model）和偏向纹理的模型（texture model）会关注图片的不同区域。而图4告诉我们，两个模型的强项在分类不同类别的物体上——偏向形状的模型可以更好的识别一些人造物（例如纪念碑，ATM机等），而偏向纹理的模型则可以更好地识别像珊瑚，咖啡泡沫等自然形成的纹理。
甚至有些图片，模型单凭形状或者纹理都无法得到正确的分类。例如下图中的「毛皮大衣」，单单凭借「形状」会被当做「披肩」，单单凭借「纹理」会被当做「埃及猫」。对于这种情况，同时去看形状和纹理就变得很重要了。
根据上述分析，我们可以猜测：既不会偏向形状，又不会偏向纹理，而是综合形状和纹理两方面的信息的模型，才是好模型。
3. 如何获得没有偏见的模型？ 那么，如何可以获得这样一个（既不只看形状，又不只看纹理，而是两者都看的）模型呢？
我们的方法出奇的简单：如下图所示，我们把形状（如，大猩猩的形状）和纹理（如，柠檬的纹理）解耦，生成新的图片（如，有着柠檬纹理的大猩猩）作为新的训练数据。并且同时 提供形状 和纹理 两个标签作为监督信息。
通过我们的方法训练得到的模型，在准确度（ImageNet，第一列“clean”）和鲁棒性（ImageNet-A，ImageNet-C，Stylized-ImageNet，对抗FGSM攻击）上都有明显的提高。
相比于其他SOTA的数据增强方法，我们的训练方法可以在上述数据集，即ImageNet（IN），ImageNet-A（IN-A），ImageNet-C（IN-C），Stylized-ImageNet（S-IN），和对抗FGSM攻击，上有一致的提高。
相比于上述结果上的提升（每一篇paper都会说自己性能好2333），下面的实验更加有趣。如下图所示，我们的训练方法（Debiased）可以让模型自动的适应不同的数据集，无论是偏向形状的数据集（ImageNet-Sketch，ImageNet-R），还是偏向纹理的数据集（Kylberg Texture，Flicker Material）。
5. 总结 我们的形状-纹理去偏见的训练方法帮助计算机视觉模型同时提升准确性和健壮度。虽然我们用形状和纹理这一对线索来研究如何去除偏见这样一个问题，但是我们的方法不仅仅限于形状和纹理，也有潜力被用在各种各样的任务上。例如我实验室余启航同学一篇做matting的paper就用到了我们这里介绍的方法的insight，我自己也有一篇关于无人车相关视觉任务的论文（还没有放出来）也用到了这里方法的insight。希望我们的方法在未来可以帮助到更多的任务，训练出更好的模型～ 最后欢迎有想法的小伙伴来交流
CVPR和Transformer资料下载
后台回复： CVPR2021， 即可下载CVPR 2021论文和代码开源的论文合集
后台回复： Transformer综述， 即可下载最新的两篇Transformer综述PDF
CVer- Transformer 交流 群成立
可申请加入CVer- Transformer 微信交流 群， 方向已涵盖： 目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow 等群。
一定要备注： 研究方向+地点+学校/公司+昵称 （如 Transformer +上海+上交+卡卡） ，根据格式备注，可更快被通过且邀请进群
▲长按加小助手微信，进交流群
▲点击上方卡片，关注CVer公众号
整理不易，请给CVer点赞和在看
