《Nature communications》：考虑人体形状的稀疏传感器实现人体运动快速重建

【背景介绍】

动作捕捉技术普遍应用于虚拟现实（VR）和增强现实（AR）、电影和游戏制作、人机分析、生物力学分析、医疗康复、运动训练等各个领域。虽然基于标记的光学运动捕捉方法可以实现非常高的精度，但它们需要复杂的数据后处理，并且在多个遮挡的情况下可能无效。基于相机的方法提供了一种方便的方法来估计人体运动，但它们不能保证在极端遮挡环境下有效的运动重建，并且经常由于肢体之间的遮挡而做出错误的估计。使用大量的传感器布置在身体的各个位置可以在一定程度上提高重建的准确性，但它引入了佩戴过程的复杂性，还对运动造成了限制。针对以上问题，本文提出了一种基于6个传感器的人体姿态估计算法，考虑了人体的形态参数，设计了树形的运动学反解器，取消了同类方法对未来帧的依赖。在保证了重建精度的同时降低了动作重建的延迟和解算时间，能够实现在英伟达嵌入式开发板上以15 ms延迟和65 FPS的帧率稳定运行。

【内容介绍】

基于惯性测量单元的方法在捕捉大规模、复杂的多人环境中的运动方面具有巨大的潜力，尤其是基于少数惯性测量单元的方法由于其简单性和灵活性而具有更多的研究价值，但是提高此类方法的计算效率并减少延迟具有挑战性。

近期智能制造与精密加工研究室在Nature communications上发表题为“Fast Human Motion reconstruction from sparse inertial measurement units considering the human shape”的文章，提出了一种考虑身体参数的基于6个惯性测量单元的全身运动方法。该方法通观测因子图引入人体形状信息，并消除对未来帧的依赖。实验表明，与之前的方法相比，该方法在保证重建精度的同时，可以极大地提高推理速度并降低延迟。本文第一作者为清华大学机械系20级硕士毕业生肖轩（现为阿里巴巴算法工程师），通讯作者为清华大学机械系张建富教授。清华大学机械系23级硕士生宫傲、王健健副教授、冯平法教授，张翔宇助理研究员共同参与了本工作。清华大学国强研究院对本研究提供了重要支持。

文章链接：https://www.nature.com/articles/s41467-024-46662-5

【文章内容】

如图所示，本文提出了Fast Inertial Poser（FIP）,它分为两个阶段：1）关节位置估计和2）运动学逆解。与之前的方法相比，该方法效率提升的主要原因如下：1.消除了额外的优化设计； 2.通过考虑人体形状参数，基于“最小测量原则“，仅考虑便于测量的身高、腿长、单臂长和性别，使用运动学逆求解器和不同传感器的共享模型来增强神经网络结构的表达能力； 3.去除RNN的双向传播机制。在位置估计阶段，FIP使用三个独立的循环神经网络（RNN）来估计叶节点和其余节点的位置。为了使模型推理过程更接近真实的物理过程，FIP使用传感器共享积分RNN来估计叶节点的位置。此外，对于每个 RNN，人体参数信息通过嵌入式编码的方式输入到算法网络中。