TEM：机器学习模型揭示大脑怎样整合空间记忆与关系记忆 | 周日直播NeuroAI读书会

神经科学和人工智能领域的多位著名学者近日发表 NeuroAI 白皮书认为，神经科学长期以来一直是推动人工智能（AI）发展的重要驱动力，NeuroAI 领域的基础研究将推动下一代人工智能的进程。文章发表后引发热议：神经科学是否推动了人工智能？未来的人工智能是否需要神经科学？

本着促进神经科学、计算机科学、认知科学和脑科学等不同领域的学术工作者的交流与合作，集智俱乐部联合北京师范大学柳昀哲、北京大学鲍平磊和昌平实验室吕柄江三位研究员共同发起了「NeuroAI」读书会，聚焦在视觉、语言和学习领域中神经科学与人工智能的相关研究，期待能够架起神经科学与人工智能领域的合作桥梁，激发跨学科的学术火花。

读书会线上进行，11月27日开始，每周日晚上19:00-21:00，持续时间预计10周。读书会详情及参与方式见后文。

学习智能的核心问题是如何构建高效的状态空间，TEM给出了一个从感知觉输入构建状态空间的案例。TEM的架构分解了感知觉表征、状态空间表征和关系记忆，当环境发生变化而任务结构不变的情况下，TEM能快速的泛化以适应新环境。从生物智能的角度，TEM的设计与生物大脑海马结构的组织方式高度对应，分析TEM的表征和计算关系，帮助我们更好的理解生物大脑如何统一处理空间任务和关系型任务，以及各种类型细胞的表征和计算原则是什么。

1. 背景回顾：认知地图，关系推理，结构泛化

2. TEM的架构、算法

3. TEM的任务表现

4. 从模型到大脑：理解海马组织的功能

5. 模型比较：SR、 CSCG、 SMP

1. 认知地图（cognitive map）

2. 空间导航、关系推理（spatial navigation、relational inference）

3. 位置细胞、网格细胞（Place cell、Grid cell）

4. 推理、泛化（inference、 generalization）

5. 分解、结合（factorization、conjunction）

6. 相关脑区：海马体、内嗅皮层、外嗅皮层（HC、 MEC、 LEC）

7. 相关算法：Sleep-wake algorithm，VAE，Transformer

8. 其他模型：SR（Successive Representation），CSCG（Clone-Structured Cognitive Graph），SMP（Spatial Memory Pipeline）

扫码参与NeuroAI读书会，加入群聊，获取系列读书会回看权限，成为NeuroAI社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动NeuroAI社区的发展。

本次分享涉及学习智能模块的一个子问题：如何从感知觉任务学习高效的状态空间。文章用机器学习算法，对应大脑的组织结构，构建了一个模型来学习任务的状态空间，并进一步分析模型的任务表征和计算关系，帮助理解大脑的功能。

[1] Whittington, James CR, et al. "The Tolman-Eichenbaum machine: unifying space and relational memory through generalization in the hippocampal formation." Cell 183.5 (2020): 1249-1263.

[2] Whittington, J. C., Dorrell, W., Ganguli, S., & Behrens, T. E. (2022). Disentangling with Biological Constraints: A Theory of Functional Cell Types. arXiv preprint arXiv:2210.01768.

[3] Dorrell, W., Latham, P. E., Behrens, T. E., & Whittington, J. C. (2022). Actionable Neural Representations: Grid Cells from Minimal Constraints. arXiv preprint arXiv:2209.15563.

[4] Whittington, J. C., McCaffary, D., Bakermans, J. J., & Behrens, T. E. (2022). How to build a cognitive map. Nature Neuroscience, 25(10), 1257-1272.

[5] Stachenfeld, K. L., Botvinick, M. M., & Gershman, S. J. (2017). The hippocampus as a predictive map. Nature neuroscience, 20(11), 1643-1653.

[6] George, D., Rikhye, R. V., Gothoskar, N., Guntupalli, J. S., Dedieu, A., & Lázaro-Gredilla, M. (2021). Clone-structured graph representations enable flexible learning and vicarious evaluation of cognitive maps. Nature communications, 12(1), 2392.

[7] Uria, B., Ibarz, B., Banino, A., Zambaldi, V., Kumaran, D., Hassabis, D., ... & Blundell, C. (2020). The Spatial Memory Pipeline: a model of egocentric to allocentric understanding in mammalian brains. BioRxiv, 2020-11.

[8] Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017). Attention is all you need. Advances in neural information processing systems, 30.

[9] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[J]. Advances in neural information processing systems, 2017, 30.

https://github.com/djcrw/generalising-structural-knowledge

https://github.com/jbakermans/torch_tem

神经科学和人工智能领域的多位著名学者近日发表 NeuroAI 白皮书认为，神经科学长期以来一直是推动人工智能（AI）发展的重要驱动力，NeuroAI 领域的基础研究将推动下一代人工智能的进程。文章发表后引发热议：神经科学是否推动了人工智能？未来的人工智能是否需要神经科学？

本着促进神经科学、计算机科学、认知科学和脑科学等不同领域的学术工作者的交流与合作，集智俱乐部联合北京师范大学柳昀哲、北京大学鲍平磊和昌平实验室吕柄江三位研究员共同发起了「NeuroAI」读书会，聚焦在视觉、语言和学习领域中神经科学与人工智能的相关研究，期待能够架起神经科学与人工智能领域的合作桥梁，激发跨学科的学术火花。

▽ | 点击阅读原文，报名读书会