距离会议召开还有一周的时间，NeurIPS 2022 官方公布了各类奖项的获奖论文。
作为当前全球最负盛名的 AI 学术会议之一，NeurIPS 是每年学界的重要事件，通常在每年 12 月举办。大会讨论的内容包含深度学习、计算机视觉、大规模机器学习、学习理论、优化、稀疏理论等众多细分领域。今年 NeurIPS 已是第 36 届，将于 11 月 28 日至 12 月 9 日举行，为期两周。第一周将在美国新奥尔良 Ernest N. Morial 会议中心举行现场会议，第二周改为线上会议。今年 NeurIPS 官方收到了 10411 篇论文投稿，其中 2672 篇获接收，接收率为 25.6%。
今日，大会公布了各类奖项，包括 Main Track 杰出论文奖、数据集和基准 Track 杰出论文奖以及时间检验奖。其中，Main Track 杰出论文奖共授予 13 篇论文，数据集和基准 Track 杰出论文奖授予了 2 篇论文，时间检验奖授予了大名鼎鼎的 AlexNet 论文。论文 1：Is Out-of-Distribution Detection Learnable?- 作者：Zhen Fang、Yixuan Li、Jie Lu、 Jiahua Dong、Bo Han、Feng Liu
- 论文地址：https://openreview.net/forum?id=sde_7ZzGXOE
获奖理由：这项工作提供了分布外 (OOD) 检测的理论研究，重点关注此类模型可学习的条件。该工作使用 PAC（probably approximately correct）学习理论表明 OOD 检测模型仅在数据分布空间和预测模型空间的某些条件下是 PAC 可学习的。该研究还提供了 3 个具体的不可能定理，可以用来确定 OOD 检测在实际环境中的可行性，为现有的 OOD 检测方法提供了理论基础。这项工作还提出了新的理论问题，例如关于 near-OOD 检测的可学习性。该研究将在 OOD 检测这个重要的研究领域产生广泛的理论和实践影响。论文 2：Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding- 作者：Chitwan Saharia、William Chan、Saurabh Saxena等
- 论文地址：https://openreview.net/forum?id=08Yk-n5l2Al
获奖理由：基于扩散过程的高质量图像生成模型已在机器学习领域产生巨大的影响。该研究代表了此类模型的 SOTA 水平之一，并创新性地展示了独立训练的大型语言模型与大规模图像解码器的有效结合。这种实用的解耦很可能成为大规模文本到图像模型的主导范例。该研究的成果令人印象深刻。论文 3：Elucidating the Design Space of Diffusion-Based Generative Models- 作者：Tero Karras、Miika Aittala、Timo Aila、Samuli Laine
- 论文地址：https://openreview.net/forum?id=k7FuTOWMOc7
获奖理由：这篇论文通过调查思考，将先前的研究组织成一个连贯的共同框架，以促成新的建模改进，这是该研究的研究方法。该研究的重点是包含某种形式扩散过程的图像生成模型，尽管训练此类模型存在困难，但这种模型最近变得非常流行。这篇论文对基于扩散过程的模型的理解和实现做出了重要贡献。论文 4：ProcTHOR: Large-Scale Embodied AI Using Procedural Generation- 作者：Matt Deitke、Eli VanderBilt、Alvaro Herrasti等
- 论文地址：https://openreview.net/forum?id=4-bV1bi74M
获奖理由：这项工作提出了一种新框架，用于在大量数据上训练具体的 AI 智能体，为这些智能体创造从扩展中受益的潜力，类似于语言和图像生成模型。该框架的核心是一个引擎，用于构建程序生成的、支持物理的环境，智能体可以与环境交互。该引擎与大量数据和环境控制相结合，可以生成大量不同的环境组合。研究者证明该框架可用于为多个具体 AI 任务训练 SOTA 模型。此外，该研究已将框架和代码开源。论文 5：Using natural language and program abstractions to instill human inductive biases in machines- 机构：普林斯顿大学神经科学研究所、DeepMind 等
- 作者：Sreejan Kumar、Carlos G. Correa、Ishita Dasgupta等
- 论文地址：https://openreview.net/forum?id=buXZ7nIqiwE
获奖理由：该研究表明程序抽象（program abstraction）和自然语言的共同训练可以将人类偏见纳入机器的学习过程。研究者提出了一种结合人类偏见的 clean 方法，该方法对程序抽象也很稳健。论文 6：A Neural Corpus Indexer for Document Retrieval- 作者：Yujing Wang、Yingyan Hou、Haonan Wang等
- 论文地址：https://openreview.net/forum?id=fSfcEYQP_qc
获奖理由：这项工作提出了一种神经索引器，它将查询作为输入，并通过解码器结合集束搜索（beam search）输出与索引中相关文档对应的 ID 列表。这种新方法加入了一个小型但不断增长的研究系列，这种新范例允许使用标准深度学习算法和框架对目标应用程序的索引器进行基于梯度的优化。该研究提出的方法引入了架构和训练选择，与之前的工作相比，这些选择带来了显著改进。该研究阐明了神经索引器的广泛应用前景。论文 7：High-dimensional limit theorems for SGD: Effective dynamics and critical scaling- 作者：Gerard Ben Arous、Reza Gheissari、Aukosh Jagannath
-
论文地址：https://arxiv.org/pdf/2206.04030.pdf
获奖理由：本文研究了对 SGD 的扩展极限。它展示了如果 step 很大，SGD 可以有多复杂。该研究还描述了 SDE 的性质，并将其与 step 较小时的 ODE 进行比较，以深入了解非凸优化情况。论文 8：Gradient Descent: The Ultimate Optimizer- 作者：Kartik Chandra、Audrey Xie、Jonathan Ragan-Kelley等
- 论文地址：https://openreview.net/pdf?id=-Qp-3L-5ZdI
获奖理由：本文通过开发一种优化超参数以及递归优化 hyper - 超参数的方法，降低了梯度下降中对超参数的敏感性。由于梯度无法不在，因此这项工作具有巨大的潜在影响。论文 9：Riemannian Score-Based Generative Modelling- 作者：Valentin De Bortoli、 Emile Mathieu、Michael John Hutchinson 等
- 论文地址：https://arxiv.org/pdf/2202.02763.pdf
获奖理由：本文通过识别影响生成模型成功的主要因素，将基于分数的生成模型 (SGM) 从欧氏空间泛化到紧凑的黎曼流形。这种方法是一种新颖的、技术上有用的贡献。论文 10：Gradient Estimation with Discrete Stein Operators- 机构：斯坦福大学、清华大学、 DeepMind 等
- 作者：Jiaxin Shi、Yuhao Zhou、Jessica Hwang 等
- 论文地址：https://openreview.net/pdf?id=I1mkUkaguP
获奖理由：本文探讨了分布呈离散时的梯度估计问题。大多数常见梯度估计器都存在过度方差，因此为了提高梯度估计的质量，研究者引入了一种基于离散分布 Stein 算子的方差缩减技术。尽管 Stein 算子很经典，但这项工作为梯度估计提供了一种很好的解释，并在实验中显示了实际改进。论文 11：An empirical analysis of compute-optimal large language model training- 作者：Jordan Hoffmann、Sebastian Borgeaud、Arthur Mensch 等
- 论文地址：https://www.deepmind.com/publications/an-empirical-analysis-of-compute-optimal-large-language-model-training
获奖理由：该研究提出一个问题：给定固定的 FLOPs 预算，模型的大小和训练 token 数应该如何权衡？该研究对这种权衡进行了建模，并基于该模型进行预测，同时训练与该预测相对应的模型。由此产生的模型明显更小，但包含了更多的 token，性能优于其对应模型，同时由于模型尺寸更小，在下游任务中也更实用。总而言之，这项工作为社区在语言模型背景下思考规模的方式提供了新的思路，这也可能对 AI 的其他领域有用。论文 12：Beyond neural scaling laws: beating power law scaling via data pruning- 作者：Ben Sorscher、Robert Geirhos、Shashank Shekhar 等
- 论文地址：https://openreview.net/pdf?id=UmvSlP-PyV
获奖理由：这项工作重新关注选择高质量数据作为实现最佳扩展的方法的重要性。研究者精心设计了一项分析调查，开发了一个数据质量影响的理论模型，它与 ImageNet 上一系列数据过滤指标的实证实例化保持一致。这项工作富有洞察力又非常及时，将塑造关于机器学习中多个维度权衡取舍的辩论。论文 13：On-Demand Sampling: Learning Optimally from Multiple Distributions- 作者：Nika Haghtalab、Michael Jordan、Eric Zhao
- 论文地址：https://openreview.net/pdf?id=FR289LMkmxZ
获奖理由：本文研究了使用随机零和游戏博弈的多重分布式学习。对于具有接近最优结果的一类问题，该技术得出了非常有趣的理论结果。该奖项旨在表彰面向数据工作的研究，今年有两篇论文获得了该奖项，分别由 LAION、英伟达等机构研究者摘得。论文 1：LAION-5B: An open large-scale dataset for training next generation image-text models- 作者：Christoph Schuhmann 、 Romain Beaumont 、 Richard Vencu 等
- 论文地址：https://openreview.net/pdf?id=M3Y74vmsMcY
获奖理由：对诸如 CLIP、DALL-E 等语言 - 视觉模型的训练需要数十亿对图像 - 文本数据集。到目前为止，还没有这样规模的数据集向研究团体公开提供。这项工作提出了 LAION-5B，一个由 58.5 亿 CLIP-filtered 的图像 - 文本对组成的数据集，旨在对大规模多模态模型进行研究。此外，该研究使用这些数据成功复制了 CLIP、GLIDE 和 Stable Diffusion 等基础模型，提供了几个最近邻指数，以及改进的网络界面等。
论文 2：MineDojo: Building Open-Ended Embodied Agents with Internet-Scale Knowledge- 作者：Linxi Fan、Guanzhi Wang、Yunfan Jiang 等
- 论文地址：https://arxiv.org/pdf/2206.08853.pdf
获奖理由：自主智能体在雅达利游戏和围棋等专业领域取得了巨大进步，但通常无法泛化到更广泛的任务。本文引入 MineDojo，这是一个建立在 Minecraft 游戏上的新框架，在其仿真套件里面，包含数千种不同的开放式任务和一个具有互联网规模的知识库，包含 Minecraft 视频、教程、wiki 页面和论坛讨论。此外，MineDojo 还提出了一种新颖的智能体学习算法，能够解决以自由形式语言指定的各种开放式任务。该研究同时还提供了一个开源仿真套件、知识库、算法实现和预训练模型，以促进对通用智能体的研究。NeurIPS 2022 时间检验奖颁给了论文《ImageNet Classification with Deep Convolutional Neural Networks》，又名 AlexNet 论文。这篇论文发表于 2012 年，论文作者是当时来自多伦多大学的 Alex Krizhevsky 、 Ilya Sutskever 以及 Geoffrey E. Hinton 。
论文地址：https://papers.nips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf获奖理由：2012 年，该研究作为第一个接受 ImageNet 挑战训练的 CNN，远远超过了当时最先进的技术，从那时起，它对机器学习社区产生了巨大的影响。AlexNet 之后的 ImageNet 冠军全都采用了卷积神经网络结构，使得 CNN 成为图像分类的核心模型，从而开启了深度学习新一波浪潮。Alex Krizhevsky 为该论文的一作，是 Hinton 的博士生，此外他还是 CIFAR-10 和 CIFAR-100 数据集的创建者。他的许多关于机器学习和计算机视觉的论文经常被其他研究人员引用。
Ilya Sutskever 为该论文的作者之一，也是 Hinton 的博士生，为 OpenAI 联合创始人兼首席科学家。此前，他还在斯坦福大学 Andrew Ng 的团队做博士后。
最后一位作者为深度学习三巨头之一的 Geoffrey E. Hinton ，以其在类神经网路方面的贡献闻名。Hinton 是反向传播算法和对比散度算法的发明人之一，也是深度学习的积极推动者，被誉为深度学习之父，于 2018 年的被授予图灵奖。
参考链接：https://blog.neurips.cc/2022/11/21/announcing-the-neurips-2022-awards/
-
机器学习交流qq群955171419，加入微信群请扫码
