香港中大张立教授Nature子刊: 深度学习实现微纳机器人集群在复杂环境下的自主适应性巡航

集群机器人学是机器人学中一个非常重要的子领域。一大群机器人可以合作完成单个机器人无法完成的任务，比如复杂操作和跨越障碍的运动等。

最近，微纳尺度的集群机器人学作为一个新兴领域，正受到越来越多的关注。微纳机器人单体微小的体积导致其运送药物的能力和治疗的能力非常有限，因此，体内应用通常要求同时使用成千上百万的微纳机器人个体，控制它们巡航到指定部位进行治疗任务。

目前，这样的巡航控制需要操作者对集群控制原理具有深刻的理解和丰富的经验，否则容易导致巡航失败。并且，人体内复杂的环境更使手动控制难度增加，极容易出现集群巡航的失败。

微纳机器人集群在非结构化环境中的适应性巡航以到达目标部位执行任务

受以上问题驱动，香港中文大学张立教授团队与窦琪教授团队合作，研发了用于微纳机器人集群自主巡航的人工智能控制系统。

研究团队成员合照。从左起为姜佳林博士生，杨立冬博士，张立教授，窦琪教授，高晓杰博士。

这套系统融合了深度学习、图像处理和集群自动控制等关键技术。它适用于不同微纳机器人个体大小或不同集群大小，并可以采用不同成像方式作为反馈，比如显微镜、X光荧光镜、和超声探头。

使用这套系统，微纳机器人集群可以根据工作环境的变化实时地自主改变其分布和运动，实现在非结构环境中的智能适应性巡航。这个工作近期发表在Nature人工智能子刊“自然-机器智能” (Nature Machine Intelligence) 上。

▍微纳机器人巡航的自主性等级的定义

目前，微纳机器人集群的巡航控制还处于手动控程度。因此， 一个提高微纳机器人集群巡航的自主性的统一范式具有重要意义。为此，这项工作为集群巡航定义了5个级别的自主程度（0到4级：0级代表手动控制巡航，4级代表不需要人介入的完全自主巡航），并且提供了每个等级需要的系统硬件和算法需求。

研究团队提出的这个范式可以作为未来研究者提高微纳机器人集群在不同环境中自主程度的基础。例如第0级适用于静止环境，只需要配备磁场控制系统和成像系统；而第4级可用于动态环境且勿需人工介入便能完成任务，例如输送药物到指定部位，但系统组成上则需要额外配备反馈图像处理系统和人工智能控制系统等。

微纳机器人集群巡航的自主性等级的范式。a 自主等级定义的文字描述和图示。b 自主性等级对应的系统硬件和算法需求

▍基于深度学习的集群自主最优分布策略

微纳机器人集群自主的最优分布决策能力是其在复杂环境中自主适应性巡航的关键能力。为了赋予集群此项能力，团队提出并建立了基于深度学习的系统框架。

首先，通过让微纳机器人集群在具有不同形态的工作环境下进行大量的模仿学习，使建立的深度神经网络架构获得足够的训练以收敛到最优。接着，讲训练好的网络接入到控制系统中，作为微纳机器人集群的“大脑”，使其可以实时地根据环境的变化做出最优集群分布的决策。最后，底层的集群控制器使集群可以自动化地准确到达目标分布区域。

基于深度学习的集群自主最优分布策略。a 深度神经网络的工作流程。b 深度神经网络的结构。

▍不同形态的非结构环境下的实验验证

团队使用研制的这套人工智能控制系统，以磁控纳米粒子集群作为对象在不同种类环境下进行了正确性验证，包括空旷环境、障碍物环境、变直径和变曲率管道环境、以及动态障碍物环境等。实验展示了高自主等级微纳机器人集群的优势，实现了向目标区域的自主递送以及对微米级货物的自主运送等任务。

为了进一步验证研制的控制系统对于人体内部环境的可行性，研究团队开展了纳米粒子集群在X光荧光镜成像下人体胎盘环境中的巡航研究。胎盘复杂的可变直径的血管网络环境增加了巡航的难度。针对不同巡航目标的实验结果展示了建立的深度学习方法仍然有效，微纳机器人集群可以正确地改变自己的分布以致在胎盘血管中可以自主巡航到目标区域。