解决深度学习4大缺陷

A Review of Neuroscience-Inspired Machine Learning https://arxiv.org/abs/2403.18929

ABSTRACT摘要

深度学习的一个主要批评在于其用于学习的信用分配方案的生物学不合理性 - 错误反向传播。这种不合理性转化为实际限制，涵盖了科学领域，包括与硬件和非可微实现不兼容，从而导致了高昂的能源需求。相比之下，生物学上合理的信用分配适用于几乎任何学习条件，并且能效高。因此，它适用于硬件和科学建模，例如与物理系统和非可微行为的学习。此外，它还可以导致实时的自适应神经形态处理系统的发展。在解决这个问题时，出现了一个跨越神经科学、认知科学和机器学习交叉点的跨学科人工智能研究分支。在本文中，我们调查了几种模拟人工神经网络中生物合理的信用分配规则的关键算法，讨论了它们为不同科学领域提供的解决方案，以及它们在 CPU、GPU 和新型神经形态硬件的实现上的优势。最后，我们讨论了未来需要解决的挑战，以使这些算法在实际应用中更加有用。

1 The Problem of Credit Assignment1 信用分配问题

人工智能中的一个关键任务是构建数学和算法解决方案，解决所谓的信用分配的重大问题。有效的信用分配归结为：(i) 确定哪些神经处理元素 (NPEs)，例如计算图中的个别计算单元，对特定 (任务特定) 目标函数 L(Θ) 产生影响；和 (ii) 根据它们的影响程度修改连接所有 NPEs 的突触，以优化这个目标。第二步所特征的突触调整是为了改善构成一组 NPEs 的网络的整体性能。从误差驱动的学习和适应性的角度来看，信用分配通常是通过计算并为每个 NPE 分配基于成本 L(Θ) 的错误值来执行的，一旦这些值被获取，就产生 ∆（要在 Θ 中进行的所有调整的集合），然后相应地更新ANN的参数的当前值。

需要注意的是，从历史上看，上述类型的误差驱动调整已经被理论化[59, 13]并且在生物神经网络中已经得到了实验观察[75]。现代人工神经网络中如何计算和分配这种错误 - 通过误差反向传播[32]（反向传播） - 从本质上讲被认为是神经生物学上不可信的。鉴于现代深度学习的重大成功，解决这种不可信性可能似乎是仅仅对神经科学家感兴趣的一个小众任务。然而，事实远非如此；尽管最近取得了重大突破，但仍然需要重要的进展。其中两个问题包括：1) 开发更加稳健和更加通用的类人类能力，以服务于构建智能机器的更大目标；和 2) 构建更快、更节能的训练和推断过程的程序。生物上可信的信用分配方法为解决这两个问题提供了潜在的解决方案。

生物上可信的信用分配适用于神经形态硬件实现，因为其操作和突触更新的局部性。当转换到硬件时，局部性使操作完全并行化，延迟低，功耗低，通常不需要监督。这与现有的冯诺依曼体系结构中的处理方式不同，在该体系结构中，内存和计算单元之间的划分使得此类操作变得更加缓慢和计算成本更高。操作的局部性也是使具有循环和纠缠拓扑结构的网络进行训练的关键属性，例如神经回路，而无需像时间反向传播那样在内存中保存梯度[63, 22, 62]。

为了开发这种受神经科学启发的算法，研究人员已经研究了构成动物和人类大脑的神经元细胞，制定了更类似于神经生物学动态和信息处理的信用分配方法。从历史上看，这些工作已经从神经科学、认知科学和生物物理学的见解和发现中汲取了经验。如今，大量的研究集中在开发能源基于、仅前向或脉冲算法上，这些算法在标准的深度学习任务上表现稳定且表现相当不错。这项工作的目的是调查这些算法和程序。

审查组织。这份调查按照以下方式组织：在第 1 节中，我们简要描述了通过误差反向传播（BP）进行的信用分配的几个关键批评；在第 2 节中，我们转向考察神经科学导向的算法在信用分配领域中的几种新兴范式；在第 3 节中，我们讨论了神经形态系统的潜力。鉴于研究中研究的学习和信用分配方案，在第 4 节中，我们考虑了神经科学启发的机器学习研究面临的重要开放性问题和挑战，以及可能取得进展的有前景的问题领域。最后，我们以总结性的话语结束了这次有针对性的调查。

1.1 What is Wrong with Backprop?反向传播有什么问题？

在大脑中。接下来，我们将讨论一些主要批评，而调查的其余部分将集中于启发于神经科学的算法，这些算法改善了其中一些问题。

Weight Transport（WT）。该术语指的是使用相同的权重集合来执行前向传播和反向传播的模型。在使用反向传播训练的神经网络中，前突触 NPE 通过与原始前向传播信息使用的相同突触连接从后突触 NPE 接收误差梯度信息。在大脑的化学突触中，神经递质和受体强制执行信息的单向流动，因此这种操作是不可信的。在神经形态芯片中，使用物理组件模拟生物突触，实现双向连接可能会有问题，这取决于考虑的硬件。

Forward Locking（FL）。该术语指的是要求网络中的一层的神经元活动在所有前面层的活动都计算完成之前不能计算的要求。这种顺序依赖性在信息处理中产生了瓶颈，并且与生物网络中的并行分布式计算的性质不符。此外，这要求在内存中存储神经元的值，这在本地和并行的神经形态硬件上实现是具有挑战性的。

Backward Locking（BL）。类似地，更新/后向锁定指的是在计算一个层的教学信号和突触更新之前，需要等到后续层的教学信号被计算出来的延迟。这种依赖关系也与生物神经系统中观察到的本地并行处理相矛盾。

Forward-Backward Differentiation（FBD）。在反向传播中，前向传播和反向传播使用不同的计算。前向传播在网络中传输信息，而反向传播产生梯度信息。这种计算在两个传播之间的分歧被认为是不可信的，并且与真实突触连接的局部化和时间限制的可塑性形成鲜明对比。

2 Neuroscience-Inspired Credit Assignment神经科学启发的学分分配

在本节中，我们审查了几种显著且有前景的信用分配范例，这些范例最近获得了越来越多的理论和实证支持。为了研究这些信用分配过程，我们从[36]中汲取灵感，并根据它所能优化的复合全局能量泛函的形式重新构造了每种方案的最一般形式。

在这里考虑的大多数算法中，能量泛函将分为两个项，

，定义在输出层上，并与特定任务的目标相关联，以及

（注意，

包含层ℓ的参数），与模型的内部能量相关联，通过局部消息实现学习：

Notation. 在本文中将常用的关键符号和符号表示如下。使用粗体大写字母，例如 M，表示矩阵，而小写粗体字母，例如 v，表示向量。Mij 有效地检索位置 (i, j) 处的标量。在操作方面，矩阵-矩阵/向量乘法表示为 ·，Hadamard 乘积表示为 ⊙，(v)T 表示 v 的转置。一个逐元素的函数，例如激活函数，通常用 ϕ(v) 表示，∂ϕ(v) 是它对输入 v 的第一导数。通用函数用斜体字母表示，下标表示它依赖于哪些参数或参数的子集，例如 fΘ() 依赖于模型参数构造 Θ 中的参数值。

2.1 Backpropagation of Errors 误差反向传播

误差反向传播(backpropagation)用于优化的目标的一般形式可以从下面所示的能量泛函中提取出来：

其中，α和β是敏感性超参数/系数。具体地，对于误差反向传播，我们可以看到用于加权内部局部目标

的系数被设为零（α = 0），从而将优化限制为仅使用以任务为中心的成本。

学习动态。为了优化方程2，采用了反向模式微分来计算F(Θ)关于Θ的偏导数，然后利用这些偏导数进行梯度下降步骤。这种反向模式微分包括两个操作或阶段：前向传播，为网络的每个神经元分配值，以及后向传播，通过逐层传播有关L(Θ)的梯度信息来执行信用分配。后向传播使用与前向传播相同的权重矩阵进行，从而引发了之前描述的WT问题。此外，三个阶段 - 前向传播、后向传播和权重更新的顺序性 - 强制要求在开始下一个阶段之前保存每个阶段计算的值，从而引发了FL和BL的问题。

2.2 Predictive Coding 预测编码

背景。预测编码是一种源自计算神经科学、信号处理和贝叶斯推断的大脑皮层功能的一般理论。预测编码（或PC）认为皮层计算的基本原则是最小化预测误差：神经元预测它们的输入和输出神经元 - 通常是以层次结构的方式，这意味着神经元预测下方层次的活动。关于这些预测差异的信息通过层次结构向上传递，作为参数调整的基础。在机器学习中，最近的研究探讨了这种算法在各种任务和问题领域中的有效性，涵盖了计算机视觉、自然语言处理、图学习和联想记忆等领域，预测编码网络在训练复杂的机器学习架构时表现与反向传播相当。在某些限制条件下，预测编码也已被证明可以接近误差反向传播[78, 36, 72, 66]。

图1：展示了在进行监督学习时，预测编码（PC）、对比海比学习（CHL）和仅向前学习（具体指信号传播）所固有的机制。红橙色的菱形代表误差神经元（不匹配信号），而粉红色的圆圈代表神经处理单元（NPE）。黑色实箭头代表突触通路，较粗的蓝色箭头代表非突触传输通路（例如，复制矢量、连接、矢量分割等），红色虚线箭头只表示输入进入本地能量函数。请注意，一些可视化的算法（PC、CHL）包括一个未显示的迭代稳定过程。

学习动态。预测编码电路的能量函数如下：

2.3 Contrastive Hebbian Learning对比赫布学习

背景。属于对比希伯来学习（CHL）框架的方案直接利用了一个基于能量的模型，该模型在松弛到解时得到应用。在CHL算法中，如平衡传播（EP）[70]，需要执行两个不同的阶段来进行学分分配：一个预测/未夹持阶段，在该阶段中特别地最小化能量以仅基于输入数据进行预测，以及一个学习/夹持阶段，在该阶段中输出神经元被推向受监督信号。一旦两个阶段都完成，就可以使用两个阶段的平衡之间的差异来调整参数。总的来说，任何CHL算法的目标都是通过使用有条件的迭代计算阶段来调整突触权重值，其起源可以追溯到以霍普菲尔德网络为中心的[40]、基于玻尔兹曼的学习[16]，以及亥姆霍兹和神经热交换机[71,6]。

与许多背景下的生物可行替代方案一样，CHL方案已经被证明可以近似反向传播以及递归反向传播[68]。这种近似发生是因为推动的力量变得无穷小，导致两个阶段之间的差异类似于有限差分梯度[36]。其他工作已经为EP开发了理论，将其表述为一种双层优化[85]。然而，像EP这样的CHL方案的原始表述通常无法扩展到复杂的任务；为了解决这个问题，设计了改进效率以及特定任务性能的CHL/EP的变体[24, 70, 27]。此外，[25]在复平面上定义了基本的能量函数，这样可以通过迭代计算步骤来避免“推动”，从而得到更健壮的算法。

学习动态。对于在对比希伯来学习（CHL）框架下调整参数值的过程，以下能量泛函作为学习动态的中心指导：

为了获得方程7中所需的局部梯度项的必要统计数据，需要模拟一组两个条件动态，以获得计算局部梯度所需的神经活动值。为此，系统动态的方程被迭代地应用。这些动态可以总结如下：

在这里我们注意到，神经活动是由相邻层值的重复本地自下而上和自上而下的突触传递而发生变化的结果。首先，对于每一层，方程8被应用T次（在初始化活动后），除了最底层和最顶层——它们分别被固定为感觉和上下文值，即，

和

，分别——以获得一组值

（正相统计）。接下来，然后解除最顶层的固定，并对每一层进行相同的动态（仍然保持底层固定为感觉输入），进一步运行T步以获得

（负相统计）。

平衡传播。尽管是一种通用技术，可以应用于其他基于能量的模型，如预测编码，但我们决定将平衡传播（EP）放在与CHL相同的部分中，因为EP的大部分文献集中在使用方程5的CHL能量学习的模型上。一般来说，EP的核心思想是将输出层的能量项

定义为小的局部扰动：首先，通过最小化内部能量

（因此，设置β = 0）达到平衡。然后，通过设置β > 0但保持相对较小的值，将输出层推向输出信号。在这一点上，学习像往常一样进行，要最小化的能量是

的加权组合。

2.4 Forward-Only Learning

背景。近年来，出现了一组不同的生物可行算法，这些算法避免引入或使用促进学分分配的反馈路径。这些算法通常被称为“仅前向”方案，并且通常构建了一种只依赖于神经系统的前向推理过程的突触调整手段。一些变体利用标签作为上下文信息，并通过前馈传播路径运行该标签，而其他一些则使用一种机制来自动生成对抗性的“负”数据样本作为上下文信息，然后通过前馈路径运行这些数据样本（即，这些方案将对抗数据点的“良好度”最小化，并将良好度最大化为从原始数据集中获取的数据点）。仅前向方案已经推广到脉冲网络，并且还已经证明可以在神经形态芯片上运行[80]。

学习动态。尽管存在各种变体的仅前向（FO）方案，但可以将任何这种方案通常视为优化以下功能：

这实际上是局部比较或对比函数的总和，取决于所采用的FO适应性变体。例如，在信号传播中[22]，可以使用如下的向量相似度测量：

或者像前向传播过程中那样采用对比度测量：

这是根据逻辑回归目标对“良好性”的简化表示。注意，在等式11中，我们明确了活动向量

是从原始数据集D采样输入模式的产物，而

是从负面/敌对数据分布

采样的。

为了优化方程9，可以使用反向模式微分来计算对于每个层（或块）ℓ的

和

相对于Θℓ的偏导数。然后，这些局部梯度随后用于执行一步变化的一阶（或n阶）优化过程，例如Adam，来更新参数[22, 15]。或者，可以使用Hebbian学习更新规则来计算需要用于更新参数的值，并与像Adam这样的优化器一起使用[23]。

2.5 Other Learning Schemes其他学习计划

虽然本综述着重介绍了三种显著的生物合理框架，但还有许多其他框架正在被开发，并引起了机器学习社区的关注。在这里，我们将审查四种新兴的方法，包括直接反馈对齐（DFA）[44]、目标传播（TP）[28, 1]、局部表示对齐（LRA）[54]和SoftHebb [38]。

Direct Feedback Alignment (DFA)方法。反馈对齐方法专注于解决权重传输问题。早期的一个尝试是随机反馈对齐[31]，它使用固定的随机反馈投影来为每一层生成教学信号（与正向传播权重的转置相反）。另一方面，DFA引入了随机反馈矩阵，直接将输出误差投影到各个层上。值得注意的是，这种方法在大规模数据集上表现良好[39, 26]，并且在光子芯片上有着有希望的实现，因为在反向传播期间它不需要按顺序更新各层。这使得DFA适合使用光子学进行并行化[10]。其他变种包括学习反馈矩阵的机制（而不是保持它们随机/固定）[29]。

表 3：用于选择最适合特定（应用）的生物学上合理的学习方法的参考表领域或解决特定问题。

Target Propagation. 目标传播（TP）解决了BP在前向传播和反向传播中使用不同操作的问题。TP不是反向传播梯度，而是反向传播目标（向量）信号。在经过TP训练的网络中，每一对层都被视为一个浅层自编码器，其中每一层都试图重构其下方的层，从而学习局部函数及其（近似）逆。值得注意的是，每个自编码器都设计有单独的前向和后向连接，并使用局部规则来调整它们的值。最近的理论工作改善了TP的稳定性，并展示了它与高斯-牛顿优化的联系[35, 2]。

Local Representation Alignment. 这种生物学上合理的算法可以看作是TP和PC之间的混合，参与了一个“协调的本地学习”过程，最小化了一组总和表示距离测量[54]。基于LRA的方法通过首先使用误差调制扰动调整层间活动，然后计算局部权重更新来产生教学信号；值得注意的是，LRA可以被递归地分解为对网络架构的部分进行异步、并行调整，特别是对于较大的卷积神经系统[55, 82, 20]。

SoftHebb. 一个值得注意的、最近的工作线路集中在具有软获胜者通吃激活函数的Hebbian适应上。类似于PC，这种算法可以被证明是对数据的贝叶斯生成模型的表示和学习[38]。当用于标准的深度学习任务，如图像分类时，这些算法表现得和其他生物上合理的算法一样好，并且也避免了上述许多不合理之处[19]。

最新代码：一个epoch打天下：深度Hebbian BP (华为实验室)

3 Neuromorphic Systems神经形态系统

现代神经形态系统通常旨在将人工神经网络（ANN）编码到等效的模拟电路中[5]。目前，最好的结果是通过在现有硬件上训练数字ANN，然后将突触权重值转移到模拟设备上实现的。在转移后，可能会对模拟设备上的ANN进行有限的调整。这种限制主要是由于缺乏有效和可扩展的神经拟态学习算法，这些算法可以在模拟域内本地运行，而本文中许多算法可以实现这一点。模拟硬件的动机是为了避免在数字中间层上运行ANN所带来的能量、计算和财务负担的上升。相反，ANN直接实现在更高效和可扩展的硬件层中。最终目标是超越数字人工神经网络的性能，而不仅仅是以更低的成本保持其性能。

当前版本的神经形态系统与等效的数字硬件相比，能源使用量要低得多。然而，它们很难达到数字ANN设计复杂性/规模日益增长的水平——这些关键特征被归功于现代数字ANN的成功。因此，在性能可比的应用程序中很少见[5]。这既是由于最先进模型的尺寸不断增加，无法放入单个GPU，更不用说单个模拟设备了，也是由于神经架构的快速发展相比硬件设计。

这些神经形态系统的局限性是由于在从数字到模拟领域转移时，硬件中人工神经网络的架构设计所施加的约束[42]。然而，许多生物系统所面临的约束以及模拟硬件所施加的约束非常相似。此外，模拟硬件在能量和计算效率方面的潜在改进是巨大的。这自然地指向了机器学习、神经科学和硬件设计之间的协同作用。

4 Future Directions for Research未来研究方向

尽管近年来在生物启发式（bio-inspired）学习方法方面取得了显著的进展和活动，但这些方法尚未达到反向传播（backpropagation）的一致且强大的性能水平，而反向传播已经能够在多个任务中超越人类表现。该领域的一个更大的目标是在保持生物可信的学分归因的同时模拟反向传播的性能。有几个研究方向可以帮助我们弥合这一差距。在理论上，我们需要更好地理解通过反向传播进行学习与通过生物启发的学分归因进行学习时的学习轨迹和最终模型状态，并利用这一知识来了解将来的努力应该集中在哪些方法或（更有可能的是）方法的组合上。在实践中，该领域的经验性进展将通过采用更多在使用反向传播的机器学习研究中看到的方法和技术，包括架构设计、正则化和数据处理。最重要的是，由于这是一个跨学科领域，如果我们设法激发更广泛和多样化的科学界的参与，可能会出现突破性进展。

4.1 Open Problems未解决的问题

灵活的库。该领域需要解决的第一个限制是缺乏适用的软件库（一个值得注意的例外是[43]），类似于Pytorch或Tensorflow，它提供了与不同数据源的灵活性和适应性，并能够有效地利用各种计算资源，如GPU、CPU、TPU，以加快训练速度。此外，为了鼓励那些没有认知科学或计算神经科学/生物物理学背景的人积极参与这一领域，需要开发类似于Keras的高级API，或设计一个即插即用的环境。

稳定性。需要理论上的理解，关于收敛保证和生物可行方法的稳定性。最近关于基于能量的模型的工作，例如平衡传播和预测编码，未能推广到非常深的架构，例如ResNets，目前可用的最佳结果仅限于Alexnet或小型VGGNets [65, 69]，这些模型现在已经有大约十年的历史了。一个健壮的数学理论将为了解这些替代方法收敛的条件、其收敛速度以及其在各种网络架构和数据分布上的稳定性提供重要的见解。这对于将这些架构扩展到复杂、更深的架构以及在可靠性和精确性至关重要的领域的应用，如自主系统、医疗诊断和金融建模，都至关重要。这样的理论也将指导设计更具有抵抗力的神经系统，以应对初始参数和训练数据的质量，从而增强训练过程的效力和效率。

动力学。在边缘设备上实现这些算法的实现很可能需要处理动态环境。然而，迄今为止，大多数研究都集中在对静态数据进行建模。研究的宝贵方向之一将是专注于时间序列数据，例如下一帧预测任务。为此，未来的努力应该集中在为深度学习模型实现生物可行的更新规则，例如LSTM，或者受控制理论启发的模型，例如卡尔曼滤波器。这样的努力的成功例子，尽管在小规模任务上，包括使用预测编码来建模主动推理代理的工作 [50]。

4.2 Mortal Computation and Structural Evolution凡人计算与结构演化

许多在这里审查的受神经科学启发的信用分配算法包含诸如能量最小化之类的组件，这些组件非常适用于模拟和神经形态硬件 [14, 5]，但在数字硬件上不一定与反向传播竞争力相当。这引发了为这些算法设计专用硬件的可能性，这理论上可以获得速度、成本和功耗效率上的显着改进。在硬件层面，效率的提升只能通过利用硬件的自然物理特性来实现所需的计算，而不是在数字上“模拟”它。这样做的缺点是，在制造过程中引入的硬件自然变异不可避免地影响了计算。虽然神经学习算法可以规避这些差异，但这意味着每个网络都与其物理硬件实现密切相关，并专门为其定制，这在纯数字程序中并不成立。实际上，这种神经计算是“有限的”[49]，因为它无法逃脱其硬件基板的破坏。神经形态仿真算法有望能够在这样的硬件上有效运行，从而为其模型的效率带来巨大提升，但代价是它们变得有限。

除了上述关于结构基质的观点之外，我们指出，研究将生物学习方案与神经进化形式（例如，神经增强拓扑的进化）[74]（NEAT）和/或群体智能 [8]（例如，粒子群优化）结合和整合起来可能会证明是有用的。重要的是，这一研究方向将提供一个独特的机会，用于构建自动发现给定问题的最佳网络拓扑的动态系统，可能会导致整体更高效的神经结构。此外，在理论上，NEAT可以在动态环境中调整网络，这对于强化学习和其他问题空间随时间变化的领域是有益的。

4.3 Application of AI in Science 人工智能在科学中的应用

人工智能的日益普及已经促使其在物理学[57]、化学[18]、健康[58]、生物学等各个科学领域，以及在非传统设备如物理设备[79]和光学[45]等领域得到应用。这些依赖类似大脑的模拟信息处理的计算设备，目前大多基于不适合物理实现的反向传播方案。然而，在某些情况下，这是有问题的。例如，基于物理的神经网络（PINNs）存在两个主要缺点：首先，在与基于梯度下降的一阶优化结合时，它们无法找到实际解，并且需要计算密集型的二阶拟牛顿优化才能良好运行；其次，PINNs仍然配备前向连接，并且由于优化困难和泛化保证不足，无法有效捕获时间和空间关系[57]；第三，PINNs围绕着需要具有可微激活函数的必要性，这限制了它们在大多数科学领域和问题中的使用。另一方面，受生物启发的替代方法克服了大部分这些问题。像局部表示对齐、预测编码和仅前向学习这样的方法可以使用非可微激活函数[23, 54]。此外，目标传播[2]和基于PC的方法近似拟牛顿优化，从而提供更好的梯度，因此非常适合物理实现和在科学中的应用。

5 Discussion and Conclusion讨论与结论

在神经科学中的影响。理解皮层中信用分配的本质是神经科学的基本目标之一，找到与之相关的问题的答案将为我们提供直接洞察大脑功能和组织的许多其他基本问题。深度学习，作为神经科学的近亲，现在能够在许多任务上达到并超越人类水平的表现，解决了类似于大脑使用反向传播算法的问题，这是高度神经科学上不合理的。然而，机器学习问题和网络为我们提供了一个宝贵的试验平台，可以用来实验和测试更生物合理的算法的能力。虽然这些实验并不提供直接的神经科学证据，但它们既可以测试这些算法的能力（因为不能训练甚至小型神经系统的算法极不可能在大脑中可行），又可以快速轻松地测试在人工神经网络中的假设，然后通过神经科学的调查来验证（或否定）这些假设。在过去的十年中，一些重要的算法，这些算法在本文中进行了回顾，已经被提出来作为解决皮层信用分配问题的解决方案。虽然这些算法可以作为发展的起点，但在改进、扩展和测试这些算法的能力方面仍然存在许多未解决的问题，以及在实验上检查它们对皮质处理的暗示。

结论。在本次调查中，我们描述了几种重要的生物合理算法，用于人工神经网络中的信用分配，并讨论了它们如何解决反向传播模型的几个关键缺点。尽管这些算法尚未在实际应用中被广泛使用，但在这个方向上的进展将有助于使用仅进行局部计算来训练深度神经网络，这是分布式计算和在神经形态硬件上实现的基本方面。然而，虽然本次调查主要针对计算机科学家以及机器学习工程师和从业者，但神经形态计算领域是跨学科的，因为它涉及物理学、材料科学、神经科学、化学和计算机科学等领域。通过强调这种跨学科性，我们旨在促进一个更加统一的研究格局，提高各个学科理解、改进和有效应用这些方法和框架的可及性。最后，为了确保进展朝着正确的方向发展，重要的是要思考这些神经模仿算法将能够在实际应用中发挥作用的领域。重要的例子包括边缘计算设备和自主神经机器人系统，其中能源效率至关重要，计算并行性是非常宝贵的。展望未来，识别和针对特定应用的需求将是引导与生物启发式信用分配算法相关的研究朝着解决现实世界问题和挑战的关键所在。