Py学习  »  机器学习算法

基于生物启发训练法的物理深度学习 | 复杂性科学顶刊精选7篇

集智俱乐部 • 1 年前 • 116 次点击  

集智斑图顶刊论文速递栏目上线以来,持续收录来自Nature、Science等顶刊的最新论文,追踪复杂系统、网络科学、计算社会科学等领域的前沿进展。现在正式推出订阅功能,每周通过微信服务号「我的集智」推送论文信息。


扫描下方二维码,关注“我的集智”服务号,即可订阅Complexity Express:           

 



Complexity Express 一周论文精选




以下是2022年12月26日-2023年1月1日来自Complexity Express的复杂性科学论文精选。如果Complexity Express列表中有你感兴趣的论文,欢迎点赞推荐,我们会优先组织解读~

目录:

1. 基于生物启发训练法的物理深度学习

2. 基于张量网络的机器学习中贫瘠高原的存在与不存在

3. 有记录的外来物种在世界范围内的传播网络

4. 单细胞分辨率下小鼠脑衰老的分子和空间特征

5. 通过梯度下降学习自然涌现有效神经编码

6. 体重指数的基因组学和表型学揭示复杂的疾病网络

7. 时空细菌-噬菌体共进化的多步多样化



1.基于生物启发训练法的物理深度学习


论文题目:Physical deep learning with biologically inspired training method: gradient-free approach for physical hardware
论文来源:Nature Communications
论文链接:https://www.nature.com/articles/s41467-022-35216-2

对人工智能不断增长的需求,促进了基于物理设备的非传统计算的研究。这种计算设备虽然模仿了大脑启发的模拟信息处理,但学习过程仍然依赖于为数字处理而优化的方法,如反向传播,这并不适合物理实现。在这项研究中,我们通过扩展一种受生物启发的训练算法来进行物理深度学习,我们称其为直接反馈校准(direct feedback alignment)。与原始算法不同的是,该方法基于随机投影和交替非线性激活。

因此,我们可以训练一个物理神经网络,而不需要知道物理系统及其梯度。此外,我们还可以在可扩展的物理硬件上模拟这种训练的计算。我们使用一种叫做“深度储备池计算”的光电循环神经网络来进行概念验证。我们证实了该算法加速计算的潜力,及其在基准测试上具有竞争力的性能。我们的研究结果为神经形态计算的训练和加速提供了实用的解决方案。

图:物理实现的神经网络(physically implemented neural networks, PNN)的概念及其通过反向传播和增强直接反馈校准(DFA)。(a)物理神经网络原理图。(b)反向传播神经网络的训练序列。(c)增强生物似然训练序列,称为直接反馈校准(DFA)。DFA 使深层物理网络的并行、可扩展和物理加速训练成为可能,这些训练基于随机投影和可选择的非线性。



2.基于张量网络的机器学习中

贫瘠高原的存在与不存在


论文题目:Presence and Absence of Barren Plateaus in Tensor-Network Based Machine Learning
论文来源:Physical Review Letters
论文链接:https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.129.270501

张量网络是高维向量的有效表示形式,在量子多体物理中有着广泛的应用。最近,它们已经被应用到机器学习领域,成为了一个新兴的研究前沿,引起了相当多的关注。在这里,研究人员通过探索不同损失函数的情况来研究基于张量网络的机器学习模型的可训练性,重点是矩阵乘积状态架构。特别是,研究人员严格证明了在具有全局损失函数的机器学习算法的训练过程中,普遍存在贫瘠高原(barren plateaus,即梯度指数下降)现象。然而,对于局部损失函数,局部可观测值附近的变分参数的梯度不会随着系统规模的增加而消失。因此,在这种情况下不存在贫瘠高原,并且可以有效地训练相应的模型。研究结果以严谨的方式揭示了基于张量网络的机器学习的一个关键方面,为未来的实际应用和理论研究提供了有价值的指导。

图:不同损失函数的景观和矩阵乘积态的幺正嵌入。(a)对于全局损失函数,函数映射存在贫瘠高原现象,其中沿任何合理方向的梯度都消失了,这将阻碍基于梯度的算法对相应模型的训练。这里,θ1 和 θ代表两个变分参数。(b)对于局部损失函数,没有贫瘠高原现象,相应的模型可以得到有效训练。(c)矩阵乘积态幺正嵌入的图像说明。



3.有记录的外来物种

在世界范围内的传播网络


论文题目:The worldwide networks of spread of recorded alien species
论文来源:PNAS
论文链接:https://www.pnas.org/doi/10.1073/pnas.2201911120


我们预测外来物种扩散的能力,很大程度上基于对以前个别物种入侵动力学的了解。然而,鉴于外来物种的数量庞大且不断增加,了解外来物种在分类群之间普遍存在但在不同区域存在特异性的统一扩散模式,将大大提高我们预测未来入侵物种动力学的能力。在这里,使用首次被记录的四个主要生物群体(鸟类,非海洋鱼类,昆虫和维管植物)的外来物种多年完整数据集,我们应用网络方法来揭示全球各国外来物种被首次记录时呈现的经常出现的时序模式。

我们的分析确定了一些国家一贯是外来物种的早期记录者,许多后来的记录来自邻近地理区域的国家。这些发现表明,外来物种的扩散网络由两个层次组成,一个是位于扩散中心的骨干,驱动着洲际物种的迁移,以及随后在这些附近的洲内辐射扩散。地理接近性和气候相似性是国家间同种记录的重要预测因子。国际贸易是物种记录相对时间的一个重要预测因素,贸易流量较高的国家一贯较早地记录外来入侵物种。针对已经成为外来物种早期传播中心的国家,可能会对预防外来物种的全球传播网络产生重大的连锁效应,大大减少生物入侵。此外,利用这些国家作为即将发生的入侵的预警系统,也可能促进国家层面预防和应对入侵的努力。

图:外来物种(A)鸟类,(B)非海洋鱼类,(C)昆虫和(D)维管植物在世界各国的传播网络。不同的国家代表不同的点,将序列记录的比例作为有向加权链路给出。从一个国家流向另一个国家的密切联系意味着在第一个国家记录的外来入侵物种,其后在第二个国家被记录所占的比例,而不论物种入侵的实际路径。



4.单细胞分辨率下

小鼠脑衰老的分子和空间特征


论文题目:Molecular and spatial signatures of mouse brain aging at single-cell resolution
论文来源:Cell
论文链接:https://www.cell.com/cell/fulltext/S0092-8674(22)01523-9

大脑中细胞的多样性和复杂的组织,阻碍了对其细胞和分子结构中衰老相关变化的系统表征,限制了我们理解衰老过程中功能衰退的机制的能力。在这里,我们使用空间分辨率的单细胞转录组学,生成了小鼠额叶皮层和纹状体内的大脑老化的高分辨率细胞图谱,并量化了这些区域主要细胞类型在小鼠生命周期内的基因表达和空间组织的变化。我们观察到非神经元细胞的状态、基因表达和空间组织的变化比神经元要明显得多。我们的数据揭示了衰老过程中胶质和免疫细胞激活的分子和空间特征,特别是在皮质下白质中富集,并确定了衰老和系统性炎症刺激诱导的细胞激活模式的相似性和明显差异。这些结果为大脑中与衰老相关的衰退和炎症提供了关键性的见解。

图:不同年龄小鼠额叶皮层和纹状体的空间分辨单细胞转录组学分析。


5.通过梯度下降学习

自然涌现有效神经编码


论文题目:Efficient neural codes naturally emerge through gradient descent learning
论文来源:Nature Communications
论文链接:https://www.nature.com/articles/s41467-022-35659-7

人类的感官系统对环境中常见的特征比对不常见的特征更敏感。例如,与较不常见的对角线方向的小偏差相比,人类更容易检测到更频繁遇到的水平方向的小偏差。在这里,我们发现被训练来识别物体的人工神经网络,也具有与图像特征统计相匹配的灵敏度模式。为了解释这些发现,我们从数学上证明,神经网络中梯度下降的学习优先创建对常见特征更敏感的表征,这是有效编码的标志。这种效应出现在具有非约束编码资源的系统中,另外在学习有监督和无监督目标时也会发生。这个结果表明,高效的编码可以自然地从类梯度学习中产生。

图:高效编码的原因。(a)高效编码的一个结果是,知觉敏感性反映了知觉变量的经验频率。(b)高效编码在可以被证明是分配有限的神经资源来编码刺激集合的最有效方式。在这项工作中,我们描述了一种高效编码的机制,由于以不同的速度学习输入的组成部分,取决于它们的频率。



6.体重指数的基因组学和

表型学揭示复杂的疾病网络


论文题目:Genomics and phenomics of body mass index reveals a complex disease network
论文来源:Nature Communications
论文链接:https://www.nature.com/articles/s41467-022-35553-2


体重指数(BMI)的升高是可遗传的,并与许多影响发病率和死亡率的健康状况有关。在广泛的常见疾病条件下研究 BMI 的遗传关联,为扩展目前关于脂肪相关疾病的广度和深度的知识提供了机会。我们在欧洲(N~110万)和非洲(N~10万)裔参与者中分别发现了 906 个(364个新的)和 41 个(6 个新的)BMI 的全基因组显著位点。使用包括 2446 个变体的 BMI 遗传风险评分,在百万退伍军人计划中有316 个诊断是相关的,96.5% 显示风险增加。

共病网络分析显示,七个疾病社团包含与 BMI 相关的多种相互关联的疾病,以及社团间的广泛联系。孟德尔随机化分析证实了跨器官系统的许多表型,包括循环系统(心力衰竭、缺血性心脏病、心房颤动)、泌尿生殖系统(慢性肾衰竭)、呼吸系统(呼吸衰竭、哮喘)、肌肉骨骼系统和皮肤病系统的疾病,这些疾病在社团内和社团间有着深刻的相互联系。这项工作表明,BMI 的复杂遗传结构与广泛的主要健康状况有关,支持需要采取全面的方法来预防和治疗肥胖症。

图:BMI 相关的多种相互关联的疾病的网络社团结构(A-G)。


7.时空细菌-噬菌体共进化的

多步多样化


论文题目:Multistep diversification in spatiotemporal bacterial-phage coevolution
论文来源:Nature Communications
论文链接:https://www.nature.com/articles/s41467-022-35351-w

噬菌体和细菌之间的进化军备竞赛,即细菌进化出对噬菌体的抗性,而噬菌体则以抗性对抗突变进行报复,这是分子创新和基因多样化的主要驱动力。然而,试图在实验室中重现这种持续的报复动力学一直是个挑战;实验室中的噬菌体和细菌共进化实验通常是在混合良好的环境中进行的,并且通常会导致快速停滞且遗传变异性很小。

这项研究在游泳板上将运动型大肠杆菌与吞噬型噬菌体 T7 共同培养,我们观察到复杂的时空动力学,有多个基因多样化的适应周期。我们系统地量化了进化的细菌和噬菌体分离物之间超过10,000种抗性-感染性表型,我们观察到多种共存生态型的多样化,显示出复杂的互动网络,既有宿主范围的扩展,也有宿主转换的权衡。这些进化的噬菌体和细菌分离物的全基因组测序,显示了多个遗传途径中丰富的适应性突变,包括以前没有和噬菌体-细菌相互作用联系起来的基因。通过合成重建这些新的突变,我们发现了噬菌体一般和噬菌体特定的抗性表型,以及与更经典的已知噬菌体抗性突变的强协同作用。这些结果突出了空间结构和迁移对推动噬菌体-细菌共进化的重要性,为揭示不同噬菌体-细菌系统的新分子机制提供了一个具体的系统。

图:细菌-噬菌体在游泳板上的共进化导致了多个适应性循环,其中任何一个物种都没有占据主导地位。





关于Complexity Express




Complex World, Simple Rules.
复杂世界,简单规则。
由于学科交叉融合,大量针对复杂系统的研究成果散落在人工智能、统计物理、网络科学、数据科学、计算社会科学、生命科学、认知科学等等不同领域的期刊会议中,缺乏整合。

 

为了让大家能及时把握复杂系统领域重要的研究进展,我们隆重推出「Complexity Express」服务,汇总复杂系统相关的最新顶刊论文。

 

Complexity Express 是什么?

Complexity Express 每天爬取复杂系统领域最新发表的顶刊论文,每周通过“我的集智”服务号汇总推送。
 
进入 Complexity Express 页面即可随时查看顶刊论文更新,你也可以通过微信接收研究更新推送和一周汇总。

               


Complexity Express 为谁服务?

  • 如果你是复杂系统领域的研究者,可获得重要论文上线通知,每周获取最新顶刊论文汇总。

  • 如果你是复杂系统领域的学习者,可了解学界关注的前沿问题,把握专业发展脉络。

  • 如果你是传统的生命科学、社会科学等学科中的研究者/学习者,可以从复杂科学和跨学科研究中获得灵感启发。

  • 如果你是关注前沿研究发现的知识猎手,可获得复杂系统研究对自然和人类世界的最新洞见。
Complexity Express 栏目也是集智俱乐部公众号的主要选题来源,诚挚邀请你订阅,与我们信息同步。
 

Complexity Express 论文从哪里来?

考虑复杂系统研究往往属于跨学科工作,我们主要抓取综合类和泛物理类/计算机类的顶级期刊,从每周新发表的数百篇论文中精选出与复杂系统相关的论文。
 
Complexity Express 参考影响因子和学者口碑,选择了如下期刊,每日爬取其论文更新:
  • Nature

  • Science

  • PNAS

  • Nature Communications

  • Science Advances

  • Physics Reports

  • Physical Review Letters

  • Physical Review X

  • Nature Physics

  • Nature Human Behaviour

  • Nature Machine Intelligence

  • Review of Modern Physics
  • Nature Review Physics
  • Nature Computational Science
  • National Science Review
  • 更多期刊持续增补中,欢迎推荐你认为重要的期刊!
 
如果你在 Complexity Express 中发现了感兴趣的论文,请立刻“点赞”!每周最高赞的论文,集智编辑部将组织专业解读~
 

Complexity Express 追踪哪些领域?

我们力求兼顾热点追踪与领域覆盖,目前筛选的论文主要集中在如下与复杂性关系密切的领域:
  • 复杂系统基本理论
  • 复杂网络方法及应用
  • 图网络与深度学习
  • 计算机建模与仿真
  • 统计物理与复杂系统
  • 量子计算与量子信息
  • 生态系统、进化、生物物理等
  • 系统生物学与合成生物学
  • 计算神经科学与认知神经科学
  • 计算社会科学与社会经济复杂系统
  • 城市科学与人类行为
  • 科学学
  • 计算流行病学
  • 以及一些领域小众,但有趣的工作
 
由于复杂性研究领域横跨多个学科,研究论文散落在不同的期刊上,很难不重不漏地把握最新工作。针对复杂性领域的论文筛选,我们专门设计了算法。经过数月的训练迭代优化,目前对上述领域爬取准确率达到90%以上。
 
将来我们还会根据你的具体研究领域,推出研究分类与个性化的订阅服务,敬请期待!
 
由于复杂性领域涉及的论文关键词和研究问题纷繁复杂,所以算法难免有不成熟的地方,如果你发现我们有漏掉的重要论文,或者爬到了领域有偏差的论文,欢迎联系我们(小助手微信:swarmaAI),帮助我们持续优化算法。

如果你对科学学、计算术语学等感兴趣并有代码能力,欢迎报名成为集智算法志愿者/实习生(具体请邮件联系算法组负责人huqiao@swarma.org)

如果你对复杂科学及相关跨学科研究有长期兴趣,并乐于解读分享,欢迎加入集智作者团队(具体请邮件联系编辑部负责人liupeiyuan@swarma.org)




更多论文




更多复杂性顶刊论文,请到Complexity Express页面查看。订阅即可每周获取更新提醒。
       


点击“阅读原文”,追踪复杂科学顶刊论文

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/151225
 
116 次点击