编辑 | 萝卜皮
减少对经过整理的标记数据集的依赖，并利用大量未标记数据的愿望，引发了对无监督（或自我监督）学习算法的新兴趣。尽管由于诸如识别解开的潜在表示、对比学习和聚类优化等方法而提高了性能，但无监督机器学习仍然没有达到其作为实现一般智能系统的突破性范式的假设潜力。认知（神经）科学的灵感主要基于能够接触标签和大量先验知识的成年学习者。为了推动无监督机器学习的发展，都柏林圣三一大学（Trinity College Dublin）的研究人员认为婴儿认知的发展科学可能是开启下一代无监督学习方法的关键。该团队确定了影响婴儿学习质量和学习速度的三个关键因素，（1）婴儿的信息处理受到引导和约束；（2）婴儿正在从多样化、多模式的输入中学习；（3）婴儿的输入是由发展和主动学习塑造的。同时评估了这些来自婴儿学习的见解在机器学习中已经被利用的程度，检查了这些实现与核心见解的相似程度，并提出了进一步采用这些因素如何在无监督学习中提高以前看不见的性能水平。该研究以「Lessons from infant learning for unsupervised machine learning」为题，于 2022 年 6 月 22 日发布在《Nature Machine Intelligence》。早期的深度神经网络（DNN）架构通常使用无监督预训练和监督微调来实现范例。包含最初的无监督阶段是在 2000 年代中期为深度架构解锁有效训练策略的关键。自 2010 年代中期以来，无监督预训练变得不那么流行，并且——尤其是在计算机视觉应用中——在一定程度上已被使用大规模标记数据集（如 ImageNet）的模型监督预训练所取代。尽管监督学习在各种应用中表现出令人印象深刻的性能，但一个主要缺点是它依赖于大规模、精心策划的数据集。此外，对于范式的有效性和进一步的可扩展性存在合理的怀疑。这些相关的思考已经引发了学界对无监督学习（在当前的文献中有时也称为自我监督）学习的新兴趣。无监督表示学习正在引起神经科学和认知科学的极大关注：DNN 似乎为人类大脑和思维的研究提供了一种松散的受生物学启发的建模和分析工具，其中表示学习发挥着核心作用。事实上，机器学习（ML）与这些领域之间存在着积极交流的悠久传统，至少可以追溯到 Rosenblatt 的感知器及其受到「神经网络」的启发。越来越多的人呼吁重新审视动物和人类，以了解它们的生物神经机制以及这些天生的智能系统是如何学习的。通常，这些贡献以成熟的人类认知者为概念起点。相反，该团队主张关注婴儿及其发育研究的结果。人类婴儿在许多方面与以无监督方式学习的计算系统非常接近，因为婴儿也必须从未标记的数据中学习有用的表示。然而，与训练最先进的 DNN 所需的大量数据集相比，婴儿的表征学习速度很快，从相对较少的班级中获得的示例相对较少，并且可以在各种不同的任务和环境中灵活有效地使用。发育科学是研究人类婴儿和儿童认知发展的领域，已经确定了这种令人惊讶的表现的几个促进因素，这也值得对 ML 进行讨论。具体来说，他们可能回答了表征学习中一些长期存在的问题：好的表征能给我们带来什么？什么是好的表征？哪些训练原则可以帮助发现这种表示？该团队并不是第一个在 ML 环境中寻求发展研究的。然而，那些早期的研究，同发展科学的相关见解的参与方面，仍然处于非常普遍的水平。相比之下，在这个观点中，科学家针对 ML 研究人员应该考虑的婴儿学习的三个方面给出了具体建议，并讨论了当前的 ML 研究在多大程度上已经——有意识地或巧合地——致力于整合这些见解。该团队提出了来自发展科学的三个见解，它们有可能通过学习更灵活和有效的表示来对 ML 产生根本性的影响。研究人员主要将注意力集中在发育学习上，直到出生后的第一年，因为这个学习期与无监督机器学习的过程最相似。尽管人类的无监督学习也发生在生命的后期，但这一过程受到标签或通过监督学习获得的知识影响的可能性增加了，因此无法确定在没有监督学习的情况下该无监督学习过程是否会发生。因此，该团队还概述了发展科学的核心发现，这些发现对于理解婴儿早期的学习至关重要，并为无监督机器学习的进步提供了宝贵的灵感。这些发现与神经结构和认知偏差引导和约束早期信息处理的方式（第 1 课）、婴儿输入的丰富性和多模态多样性（第 2 课）以及通过发展和主动学习塑造输入的方式（第 3 课）有关。在整个观点中，研究人员阐明了婴儿学习的这三个组成部分在多大程度上已经反映在 ML 算法中，以及可以合理地采取进一步措施的地方。提高学习表示的质量、灵活性和效率将直接转化为改进的 ML 性能。研究人员的调查强调了 ML 和婴儿学习中的流行做法之间的巨大差异。在 ML 中，通常会尽可能去除学习过程中的针对性干扰，将所有要学习的内容留给数据本身，这与婴儿学习形成鲜明对比。已发现婴儿的输入已针对学习输入的特定特征进行了优化。研究人员在将婴儿学习的三个课程与当前机器学习方法进行比较时，可以提取以下总体见解：（1）更多的初始结构来约束和引导婴儿的学习过程。（2）婴儿的学习机会更丰富、更灵活。（3）婴儿学习是由环境、发展和内在因素的相互作用形成的。图示：典型的人工神经网络训练与婴儿发育。（来源：论文）
天生的偏见、显著性、好奇心和随时间的发展等因素，都在塑造婴儿的学习课程中发挥着重要作用，并有助于婴儿学习的速度和灵活性。将这些见解反映到 ML 中，他们对「数据将修复它」是训练神经网络最有效方法的假设，提出了重大质疑。关于 ML 中当前架构范式的含义，研究人员相信复杂的认知来自一个由交互但异构的组件组成的「系统的系统」。尽管单体模型原则上可能能够学习任何可计算函数，并随后表现出相应的行为；并且尽管网络深度、训练数据量和可用计算能力的进一步增加，可能会逐渐进一步提高此类模型的性能，但研究人员认为， 为了达到复杂的行为，需要一种质量不同的方法。考虑到寻找正确的架构，该团队明确提出了三个「在他们看来，非常有希望的」方向。首先，所讨论的「先天架构」本身可能是整个开发过程中自组织的结果。关于这一思路的生物灵感，在讨论不同的学习输入和这些输入所起的潜在作用时，研究人员提到，例如，在子宫中，穿过视网膜的自发活动波传播到初级视觉皮层V1，并在收到外部世界的视觉刺激之前，就帮助连接视网膜主题视觉皮层。尽管已经有一些关于进化的塑料人工神经网络的工作，但更普遍地说，自组织的多个时间尺度的想法首先约束连接性，然后是「权重」，在该团队看来，这个概念在 ML 研究中尚未得到充分考虑。然而，潜在的影响是深远的，因为这种通用方法将减轻对找出和手工构建整个复杂互连架构的需要；相反，确定自组织的正确规则和刺激就足够了。其次，婴儿学习中的多模态至少以两种方式发生。婴儿体验到连续的多模式输入流，使他们能够学习丰富的表征。同时，想必他们也经常同时通过多个目标进行学习，例如，旨在根据他们当前的视觉体验结合他们的运动动作、触觉和听觉数据来预测他们下一刻的视觉输入。然而，这种多目标方法的用处各不相同。几种感觉方式可能有助于预测每个人，但在大多数情况下，每种感觉方式对其他人的实际贡献是不平等的，并且可能因情况而异。例如，当我们想象一个孩子摇摇铃时，在这种情况下，运动信号、触觉、听觉和视觉都可以为相互预测提供信息。当看着一片叶子无声地落到地上时，情况可能有所不同——然后视觉、触觉和听觉很可能是不相关的。此外，输入的细节随着发展而变化，无论是输入的类型还是输入的特征（例如，子宫内的视觉输入、出生后头几个月的视觉输入和发育后期的视觉输入之间存在很大差异），这将影响多模态以何种方式影响单个模态。ML 社区已经开始研究多模式、多目标的学习。研究人员认为这个主题值得显著增加关注，并且可能是一些关键进展的关键，特别是在无监督机器学习方面。第三，在考虑神经适应以及生物神经网络和人工神经网络之间的比较时，必须注意的是，尽管ML在「终身学习」的概念标题下研究了可塑性的概念，但很少关注短期和中期适应。在大脑中，神经元不断地改变它们的反应特性，以保持它们的最大反应灵敏度区域与它们最近遇到的各种刺激的特性相匹配。人工神经网络以何种精确方式从相似特征中获益是一个开放的研究问题，但该团队相信，了解生物网络和人工网络之间这种显著差异的后果将是一项有价值的工作。同时研究人员也指出，该观点中介绍的发展研究和机器学习研究都不是详尽无遗的。重要的是，这里介绍的三个课程是根据它们在定性地改进下一代无监督 ML 算法的潜力以及它们与当前 ML 实现的集成而选择的。通过关注这个交叉点，研究人员的目标是增加在理论和实施中有意义地考虑这些教训的可能性。研究人员表示：人类学习会导致强大的表征，这些表征可以灵活地用于各种任务，并具有可接受的出色性能水平。显然，对于从婴儿学习中汲取见解是否对所有 ML 目的同样有价值，有一些怀疑是有道理的。有些课程可能会提供跨领域的优势，而其他课程可能会证明对特定任务特别有益。将此观点作为概念锚，未来的研究将探索婴儿学习中的每个给定见解与 ML 中的对应物之间的确切相互作用。
论文链接：https://www.nature.com/articles/s42256-022-00488-2相关报道：https://techxplore.com/news/2022-06-babies-key-artificial-intelligence.html人工智能 × [ 生物 神经科学 数学 物理 材料 ]
「ScienceAI」关注人工智能与其他前沿技术及基础科学的交叉研究与融合发展。
欢迎关注标星，并点击右下角点赞和在看。
点击阅读原文，加入专业从业者社区，以获得更多交流合作机会及服务。
