报告介绍
基础模型正迅速成为知识工作的得力助手，但其在真实场景中的部署仍受到三方面瓶颈的制约：难以在不同环境间实现可靠迁移，内部推理过程不透明，行为也难以被精确控制。
本报告将指出，这些局限并不只是模型规模的问题，更根本的问题在于学习过程能否捕捉并利用数据生成过程（data-generating process）的底层结构。
讲者将把因果思维（causal thinking）作为一种实用的分析视角，用以刻画哪些机制保持不变、哪些因素会发生变化，以及哪些变量可以被干预。
报告主要内容包括：
统一机制学习：如何从跨领域、跨模态的异质数据中学习统一机制（unifying mechanisms），从而实现可靠迁移与可控生成。
概念结构恢复：即使面对看似非结构化的数据，仍可通过层次化潜变量模型（hierarchical latent-variable models）分析并改进掩码（masking）、扩散（diffusion）等自监督学习目标，从中恢复出结构化的概念体系；这些概念结构可进一步用于解释生成模型，并支持有针对性的多层次编辑。
超越训练分布的泛化：讨论实现外推（extrapolation）的自然条件，以及一种组合式生成框架（compositional generation framework）——该框架能够在面对全新的概念组合时，提升模型的提示词遵循能力（prompt following）。
最新进展：介绍在自我改进世界模型（self-improving world models）与语言模型推理（language model reasoning）方面的最新研究成果。
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
