多模态机器学习(MMML)是一个充满活力的多学科研究领域，通过整合和建模多种交流模式(包括语言、视觉和声学)来解决人工智能的一些最初目标。这一研究领域给多模态研究人员带来了一些独特的挑战，因为数据的异质性和模式之间的偶然性经常被发现。本课程是一门研究生水平的课程，涵盖了多模态机器学习的最新研究论文，包括表示、对齐、推理、生成、协同学习和量化方面的技术挑战。本课程的主要目标是提高批判性思维能力，了解最新的技术成就，并了解未来的研究方向。
本课程将介绍机器学习和深度学习中与多模态机器学习中的五个主要挑战相关的基本数学概念:(1)多模态表示学习，(2)平移与映射，(3)模态对齐，(4)多模态融合和(5)协同学习。这些包括但不限于，多模态自动编码器，深度典型相关分析，多核学习，注意力模型和多模态递归神经网络。本课程还将讨论MMML的许多最新应用，包括多模式的情感识别、图像和视频字幕以及跨模式的多媒体检索。
https://cmu-multicomp-lab.github.io/adv-mmml-course/spring2022/schedule/
课程目录:
课程导论
跨模态交互
多模态协同学习
预训练方式
多模态推理
记忆与长期交互
头脑与多模态感知
视觉与语言
多模态泛化
低资源学习
附综述论文与课件：
专知便捷查看
便捷下载，请关注专知公众号（点击上方蓝色专知关注）
专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！点击“阅读原文”，了解使用专知，查看获取5000+AI主题知识资源
