【KDD2023教程】不确定性量化在深度学习中的应用

深度神经网络（DNNs）在众多领域中都取得了巨大的成功，例如计算机视觉、自然语言处理和科学领域。然而，DNNs的一个关键瓶颈是它们对预测中的不确定性一无所知。它们可能会毫不察觉地产生严重错误的预测，甚至对自己的错误充满信心。这种错误可能导致误导性的决策 — 在关键应用中有时可能是灾难性的，从自动驾驶汽车到网络安全到自动医疗诊断都有涉及。在本教程中，我们介绍了DNNs不确定性量化的最新进展以及其在各个领域的应用。首先，我们概述了不确定性量化背后的动机、不同的不确定性来源和评估指标。然后，我们深入探讨了几种代表性的预测模型的不确定性量化方法，包括集成方法、贝叶斯神经网络、符合预测和其他方法。接下来，我们讨论如何利用不确定性进行标签高效学习、持续学习、稳健决策和实验设计。此外，我们展示了在各个领域中对不确定性有意识的DNNs的例子，如健康、机器人技术和科学机器学习。最后，我们总结了这一领域的开放挑战和未来方向。

讲者：

Lingkai Kong 是乔治亚理工学院计算科学与工程学院的博士研究生。他的研究重点是深度学习的不确定性量化以及在不确定性下的决策，特别强调其在公共卫生和自然语言处理中的应用。他的工作已被发表在NeurIPS、ICML、EMNLP、WWW和NAACL等期刊。

Harshavardhan Kamarthi 是乔治亚理工学院计算科学与工程学院的博士研究生。他于2020年在印度理工学院（IIT）-Madras获得CSE的B.Tech和M.Tech学位。他的研究兴趣包括时间序列预测、深度概率性、生成建模和深度学习。他的工作已被发表在NeurIPS、ICLR、WWW和AAMAS，并被提名为2020年AAMAS的最佳学生论文奖。他还获得了IIT Madras的校友协会最佳学术表现奖和Lakshmi Ravi最佳硕士论文奖。

Peng Chen 是乔治亚理工学院计算科学与工程学院的助理教授。他从EPFL获得了计算数学的博士学位。他的研究集中于科学机器学习(SciML)和不确定性量化(UQ)，这是由科学和工程领域的大挑战问题驱动的，涉及在不确定性下的数据驱动建模、学习和复杂系统优化。他已在SIAM JUQ、SISC、SIOPT、JCP、CMAME、NeurIPS等期刊发表了28篇杂志论文和5篇会议论文。

B. Aditya Prakash 是乔治亚理工学院计算学院的副教授，他从卡内基梅隆大学获得博士学位，从IIT-Bombay获得B.Tech学位。他发表了一本书、超过95篇论文，并持有两项美国专利。Aditya的研究集中在数据科学、机器学习和AI，特别是在大型真实世界网络和时间序列中的大数据问题，其应用于计算流行病学/公共卫生、城市计算、安全和网络。他的工作已被多家媒体和大众媒体报道，如FiveThirtyEight.com，并赢得了多个奖项（如CMU/Facebook COVID19症状挑战、NSF CAREER）。他在主要会议上提供了多个教程。他是2021年AAAI COVID人工智能专题的主席，2020年SIGKDD的程序联席主席，2019年SDM的教程主席，以及2019年IEEE BigData的PC-副主席。他还被邀请成为NSF全国PREVENT大会的领导组织者，该大会关注流行病预防和预测。

Chao Zhang 是乔治亚理工学院计算学院的助理教授，他从UIUC获得了博士学位。他专长于机器学习、数据挖掘和自然语言处理，特别关注文本挖掘、时空数据分析、不确定性量化和决策制定。他的工作被ACM SIGKDD博士论文亚军奖（2019）、UbiComp杰出论文奖（2018）、ECML/PKDD最佳学生论文亚军奖（2015）和ML4H杰出论文奖（2022）认可。Chao Zhang还获得了NSF职业奖，并因其在该领域的贡献获得了Google、Facebook和Amazon的教师奖励。他在顶级会议上发表了超过100篇论文，如KDD、ICML、NeurIPS、ACL、EMNLP和NAACL。此外，他还在数据挖掘方面提供了KDD、CIKM和ICDE的教程。