研究透视：昆虫多模态运动-深度学习 具身智能 | Nature

动物的身体影响着神经系统如何产生行为。对感觉运动行为的神经控制进行精确建模，需要对身体进行解剖学上详细的生物力学表示。

今日，霍华德·休斯医学研究所珍妮莉亚研究园区（HHMI Janelia Research Campus）Roman Vaxenburg，Srinivas C. Turaga和Yuval Tassa等，在Nature上发文，报道了在物理模拟器中，果蝇的全身模型。

作为通用框架，这一模型可以模拟各种飞行行为，包括地面和空中运动。通过复制真实的行走和飞行行为，以验证模型的多功能性。为了支持这些行为，还为流体和粘附力开发了新的现象学模型。

利用数据驱动，端到端强化学习，还训练神经网络控制器，并沿着复杂的轨迹生成自然运动，以响应高级转向命令。还展示了视觉传感器和分层电机控制的使用，训练高级控制器重复使用预先训练的低水平飞行控制器，以执行视觉引导的飞行任务。

这种模型作为开源平台，用于在具身环境中，研究感觉运动行为的神经控制。

果蝇运动的全身物理模拟。

图1 雌性果蝇身体模型的建立。

图2 飞行模拟。

图3 行走模拟。

图4 视觉引导飞行的分层控制器重用：高度控制（“颠簸”）和障碍前进（壕沟）任务。