贝叶斯范式有潜力解决深度神经网络的核心问题，如校准差和数据效率低。将贝叶斯推理扩展到大权重空间通常需要限制性的近似。在这项工作中，我们证明，为了获得准确的预测后验，对模型权重的一个小子集进行推理是足够的。其他权重保留为点估计值。这个子网络推理框架使我们能够在这些子集上使用表达性的，否则难以处理的后验近似。特别地，我们将子网络线性化拉普拉斯作为一种简单的、可扩展的贝叶斯深度学习方法来实现:我们首先获得所有权重的MAP估计，然后使用线性化拉普拉斯近似来推断子网络上的全协方差高斯后程。我们提出了一种子网络选择策略，旨在最大限度地保持模型的预测不确定性。
https://www.zhuanzhi.ai/paper/1e86ceb2bb993d0137b7279335ff0934
专知便捷查看
便捷下载，请关注专知公众号（点击上方蓝色专知关注）
专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！合作：bd@zhuanzhi.ai
欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！点击“阅读原文”，了解使用专知，查看获取5000+AI主题知识资源
