VALSE Webinar 22-18期 总第285期 超级视觉深度学习模型与标签学习方法

报告嘉宾：张敬 (The University of Sydney)

报告题目：ViTAE Transformer 超级视觉深度学习模型

报告嘉宾：刘同亮 (The University of Sydney)

报告题目：标签学习简介——助力超级深度学习

Panel嘉宾：

张敬 (The University of Sydney)、刘同亮 (The University of Sydney)、韩波 (香港浸会大学)、宫辰 (南京理工大学)、庄博涵 (Monash University)、王超岳 (京东探索研究院)

Panel议题：

1. 目前Vision Transformer大模型的训练范式有什么特点，无监督预训练是否会成为未来的趋势？

2. 无监督学习现在发展的非常快，并且取得了非凡的成就。这是否意味着标签或者标签噪声的问题不再是重要问题？

3. 如何看待将计算机视觉的先验知识引入Vision Transformer的结构设计，以及Plain Vision Transformer本身具有解决诸多下游任务良好的潜力？

4. 现有的Vision Transformer是否有标签噪声的问题？

5. Vision Transformer大模型训练和推理需要的资源开销很大，从实际应用的角度来看，大模型有哪些价值？

6. 面向视觉下游任务建模，Vision Transformer与传统的CNN骨干网络相比，有哪些异同？

7. 标签噪声学习未来如何发展？有哪些问题值得关注？

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：张敬 (The University of Sydney)

报告时间：2022年07月13日 (星期三)晚上20:00 (北京时间)

报告题目：ViTAE Transformer 超级视觉深度学习模型

报告人简介：

张敬博士，毕业于中国科学技术大学自动化系，现任悉尼大学计算机系博士后研究员，主要从事计算机视觉和深度学习领域的研究工作。目前已经在CVPR, ICCV, NeurIPS, ICLR, AAAI, IJCAI, ACM Multimedia, IJCV, IEEE T-IP, T-NNLS等会议和期刊发表论文50余篇。担任包括CVPR, ICCV, ECCV, NeurIPS, ICLR, ACM Multimedia, IJCV, IEEE T-IP等会议和期刊的审稿人，以及AAAI和IJCAI会议的高级程序委员会委员。

个人主页：

https://scholar.google.com/citations?user=9jH5v74AAAAJ

报告摘要：

研究社区已经认识到大数据中蕴含着海量的知识，如何有效获取和利用这些知识是实现更强人工智能的关键。近年来提出的一种新型神经网络架构——Transformer，因其具有的很强的模型表征能力和可扩展性，使得更大的模型往往能更好地从数据中提取和利用知识，并取得更好的性能。本次报告将以我们在Transformer领域的最新工作ViTAE为例，从多个维度展示Vision Transformer“繁而不同“的特点，包括：更多的参数、更多的有标签和无标签数据、更多的先验知识、计算资源、视觉任务以及数据模态。特别的，ViTAE支持扩展到更大规模参数量的模型，支持更多的输入数据模态；ViTAE可以从更多的数据中提取和编码知识；ViTAE能以归纳偏置和约束的方式使用更多的先验知识；ViTAE还可以很简单地适配大规模并行计算资源从而实现更快的训练。ViTAE可以应用于多个计算机视觉任务并取得了显著进展，包括图像识别、物体检测、语义分割、图像抠图、姿态估计、场景文字理解和遥感影响分析等。相关代码和模型已经公开到 https://github.com/ViTAE-Transformer。

参考文献：

[1] Xu Y, Zhang Q, Zhang J, et al. Vitae: Vision transformer advanced by exploring intrinsic inductive bias[J]. Advances in Neural Information Processing Systems, 2021, 34.

[2] Zhang Q, Xu Y, Zhang J, et al. Vitaev2: Vision transformer advanced by exploring inductive bias for image recognition and beyond[J]. arXiv preprint arXiv:2202.10108, 2022.

[3] Zhang Q, Xu Y, Zhang J, et al. VSA: Learning Varied-Size Window Attention in Vision Transformers[J]. arXiv preprint arXiv:2204.08446, 2022.

[4] Xu Y, Zhang J, Zhang Q, et al. ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation[J]. arXiv preprint arXiv:2204.12484, 2022.

[5] Wang D, Zhang J, Du B, et al. An Empirical Study of Remote Sensing Pretraining[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022.

报告嘉宾：刘同亮 (The University of Sydney)

报告时间：2022年07月13日 (星期三)晚上20:30 (北京时间)

报告题目：标签学习简介——助力超级深度学习

报告人简介：

刘同亮博士现任澳大利亚悉尼大学人工智能中心主任。主要从事可信机器学习及其在交叉领域的研究工作，特别是标签含噪学习、对抗学习、迁移学习和统计深度学习理论。目前已经在ICML, NeurIPS, ICLR, CVPR, ICCV, ECCV, AAAI, IJCAI, KDD, IEEE T-PAMI, T-NNLS, T-IP等会议/期刊发表论文100余篇。担任包括ICML, NeurIPS, ICLR, UAI, AAAI, IJCAI, KDD在内的多个顶级会议的领域主席、 TMLR 和MLJ编辑。获得澳大利亚研究委员会的优秀青年科研奖、悉尼大学工学院青年教职杰出研究奖、澳大利亚工程和计算机科学领域早期成就者奖等。

个人主页：

https://tongliang-liu.github.io/

报告摘要：

标签噪声在大数据时代无处不在。深度学习算法很容易过拟合噪声。如果不正确处理噪声，深度学习算法就不能很好地泛化。在本次演讲中，我们将介绍处理标签噪声的典型方法，即提取置信示例 (其标签很可能是正确的示例)和对标签噪声进行建模。前者有助于摆脱不正确标签的影响，而后者有助于构建有收敛性的分类器。我们希望参与者通过演讲大致了解如何使用有噪声的标签进行学习。

参考文献：

[1] S. Yang, E. Yang, B. Han, Y. Liu, M. Xu, G. Niu, and T. Liu. Estimating Instance-dependent Bayes-label Transition Matrix using a Deep Neural Network. In ICML, 2022.

[2] T. Liu and D. Tao. Classification with Noisy Labels by Importance Reweighting. IEEE T-PAMI, 38(3): 447-461, 2015.

[3] X. Xia, T. Liu, B. Han, N. Wang, M. Gong, H. Liu, G. Niu, D. Tao, and M. Sugiyama. Part-dependent Label Noise: Towards Instance-dependent Label Noise. In NeurIPS, 2020.

[4] Y, Bai, E. Yang, B. Han, Y. Yang, J. Li, Y. Mao, G. Niu, and T. Liu. Understanding and Improving Early Stopping for Learning with Noisy Labels. In NeurIPS, 2021.

[5] D. Cheng, T. Liu, Y. Ning, N. Wang, B. Han, G. Niu, X. Gao, and M. Sugiyama. Instance-Dependent Label-Noise Learning With Manifold-Regularized Transition Matrix Estimation. In CVPR, 2022.

Panel嘉宾：韩波 (香港浸会大学)

嘉宾简介：

韩波，香港浸会大学计算机科学系助理教授，日本理化研究所人工智能项目访问科学家。2019-2020在日本理化研究所人工智能项目从事博士后研究。2019年在悉尼科技大学获得博士学位。目前主要研究方向为机器学习。

个人主页：

https://bhanml.github.io/

Panel嘉宾：宫辰 (南京理工大学)

嘉宾简介：

宫辰入选南京理工大学“青年拔尖人才选聘项目”，现任南京理工大学计算机科学与工程学院教授、博导，研究方向主要为弱监督学习。已在世界权威期刊或会议上发表100余篇学术论文，主要包括IEEE T-PAMI, IEEE T-NNLS, IEEE T-IP, ICML, NeurIPS, CVPR, AAAI, IJCAI等，另有6项发明专利获得授权。目前担任SCI期刊Neural Processing Letters副编委；AIJ, IJCV, JMLR, IEEE T-PAMI, IEEE T-NNLS, IEEE T-IP等30余家国际期刊审稿人；ICML, NeurIPS, ICLR, CVPR, ICCV, AAAI, IJCAI, ICDM, AISTATS等多个国际会议的 (S)PC member。曾获吴文俊人工智能优秀青年奖、中国科协“青年人才托举工程”、中国人工智能学会“优秀博士学位论文”奖、江苏省杰出青年科学基金、上海交通大学“优秀博士学位论文”奖等，并入选百度发布的全球华人AI青年学者榜单。

个人主页：

https://gcatnjust.github.io/ChenGong/index.html

Panel嘉宾：庄博涵 (Monash University)

嘉宾简介：

庄博涵，澳大利亚Monash University长聘助理教授，博士生导师。庄博士于2018年在澳大利亚阿德莱德大学获得博士学位，目前专注于高效能深度学习的研究。庄博士在CVPR, ICCV, ECCV, NeurIPS, TPAMI, IJCV等顶级国际会议和期刊发表论文三十余篇，亦担任TPAMI, NeurIPS, ICML, ICLR等顶级学术期刊和会议审稿人。

个人主页：

https://bohanzhuang.github.io/

Panel嘉宾：王超岳 (京东探索研究院)

嘉宾简介：

王超岳，博士，京东探索研究院算法科学家。主要研究方向为利用机器学习和深度学习算法解决内容生成任务，包括但不限于图像合成/编辑、可控视频生成、图像/视频增强和医学图像处理。相关研究成果发表在IEEE T-PAMI, T-EVC, IEEE T-IP, NeurIPS, CVPR, IJCAI等国际知名期刊和会议上。其中，论文TDGAN获得了IJCAI-17的杰出学生论文奖。科研工作E-GAN被麻省理工科技评论评选为Best of the Physics arXiv论文。同时，其科研工作被《环球科学》，DTRANSPOSED，雷锋公开课等多家媒体转载或报道。

个人主页：

https://wang-chaoyue.github.io/

主持人：程明明 (南开大学)

主持人简介：

程明明，南开大学教授，计算机系主任，国家“万人计划”青拔、“优青”。他的主要研究方向是计算机视觉和计算机图形学，在SCI一区/CCF A类刊物上发表学术论文100余篇 (含IEEE TPAMI论文26篇)，论文谷歌引用3万余次，单篇最高引用4000余次，连续6年入选Elsevier中国高被引学者榜单。技术成果被应用于华为、推想、金风、和中化农业等。获得多项省部级科技奖励。现担任中国图象图形学学会副秘书长、天津市人工智能学会副理事长和SCI一区期刊IEEE TPAMI, IEEE TIP编委。

个人主页：

https://mmcheng.net/

特别鸣谢本次Webinar主要组织者：

主办AC：程明明 (南开大学)

协办AC：刘同亮 (The University of Sydney)、韩波 (香港浸会大学)、宫辰 (南京理工大学)