利用机器学习模型来推断全身姿态
(映维网Nweon 2024年11月06日)对于好莱坞式的精确全身动捕技术,相关的设置成本相当高昂和繁杂。尽管负责Reality Labs事业群的准Meta首席技术官安德鲁·博斯沃思(Andrew Bosworth)先前表示Quest 当前的内向外追踪无法支持全身动捕,而且未来更加难以实现,但这家公司依然在积极地进行探索,并希望能够早日研发出用于消费者头显的全身动捕技术。
根据美国专利商标局公布的一份专利申请,Meta探索的其中一项技术是利用机器学习模型来推断全身姿态。
其中,可以将来自摄像头、惯性运动单元(IMU)、陀螺仪甚至心电图(ECG)或心血管传感器的多个信号组合在一起,并与下半身的物理模拟相结合,以作为ML或AI模型的输入,从而确定用户下半身的可能运动。

图1示出一种示例架构10。可穿戴设备100可以包括智能眼镜100-1和腕带102(或“手表”)。