【背景介绍】
近年来，增强现实技术在工业领域得到了广泛应用，例如人工装配、远程维修、操作培训等，用户主要是通过AR设备获取预设好的引导信息。进一步地，研究者们希望AR系统可以具备一定的感知与判断能力，对装配的结果进行检验，并向用户提供反馈与建议。在此基础上，将AR系统与视觉检测技术进行结合的思路得到了研究者的关注。然而，现有的基于AR的检验应用通常面临部分共同问题。首先，现有应用通常是面向单个对象，很少有面向包含多个对象的复杂场景的案例。其次，现有方法仅仅将AR系统作为可视化工具，没有充分利用AR的优势。针对以上问题，本文创新性地提出一种用于复杂大型装配场景的复数目标增强现实辅助装配结果检测方法，在增强现实辅助装配系统的基础上，结合空间感知定位与视觉检测技术，实现了类似火箭、飞机舱内复杂场景中的复数对象装配结果一致性快速自动化检测，为进一步降低工作人员操作压力，提高检测效率，避免漏检误检，保障产品安全提供了一种具有通用性的解决思路。
【内容介绍】
近期，清华大学机械工程系的张建富教授、冯平法教授、王健健副教授、余畅博士（第一作者）、赵甘霖博士在制造领域顶级期刊IEEE Transactions on Industrial Informatics (TII)上共同发表《一种面向复杂大场景的多目标增强现实装配结果检验创新方法》的研究论文，创新性地提出了一种基于虚实融合、视觉检测和位置一致性的对象装配结果检验方法，并以此开发了增强现实辅助装配检验系统（ARAIS），能够连续检验视野中的复数离散目标。研究团队成功地将该系统用于火箭舱段仪器的人工装配结果检验过程中，在将操作人员从繁杂的人工检验流程中解放的同时，提高了检验流程的效率，并有效降低了漏检误检出现的概率。目前团队与天津火箭研究院合作，将ARAIS应用于多个型号的运载火箭舱段仪器的检验流程中。
https://ieeexplore.ieee.org/document/10429946
【文章内容】
检验思路含有复数目标的复杂场景仪器装配结果检验，其面临的关键问题之一是，如何将视野中复数个待检测目标与先验知识中的装配信息一一对应起来。传统人工检验思路是依靠操作人员与场景之间的位置关系，由操作人员对每个位置依次进行检验。随着检验目标数量的增加，该任务的工作量会不断增加，也难以避免漏检误检的情况发生。研究团队首先对人工装配场景中的常见装配错误类型进行了分析，并提出了基于空间位置一致的虚实对比装配结果一致性检验方法。本文利用AR的空间感知能力，将CAD模型与装配场景叠加，再结合空间投影关系，将检验目标的空间位置与其在检测图像的平面位置建立一一对应的关联，将包含复数目标的检测图像分割为若干个仅包含单个目标的检测图像，从而实现对所有目标的精确检测，并能准确判断出装配错误的类型，最终以AR的形式呈现给操作人员。
表1 现场数据、提取到的信息与先验知识
图1 增强现实辅助装配检验系统（ARAIS）运行流程
三维注册 首先，要实现基于虚实对比的装配结果一致性检测，首先要解决大场景高精度三维注册难题。基于平面人工标志的三维注册方法是最主流、最稳定的方法，但是，基于单个平面标志的三维注册，会面临注册误差随着场景尺寸增大而不断增大的问题，在大场景注册时，其注册误差将超过分米级，其结果将影响到后续应用。在此基础上，增加标志数量求平均值的方法，无法从根本上解决各个标志之间的注册误差相互独立的问题。
在此基础上，本文提出了一种基于少量标志的整体三维注册方法，通过场景中少量平面标志的相互校准，降低整体场景的注册误差。以多个标志中的随机一个作为核心标志，用剩余标志的位姿去校正核心标志的位姿识别结果，经过多次循环，使整体位姿误差趋近于最小。该方法的优势是可以在标志数量较少的情况下实现较高精度的三维注册，且受场景尺寸增加的影响较小。此外，本文还提出了一种定量衡量大场景注册误差的方法，使用若干个定位球计算虚实定位球之间的误差，实验表明，本文提出的三维注册方法注册精度要明显高于现有的方法。
图2 多标志注册算法。（a）多标志注册场景示意；（b）罗德里格斯旋转
图3 各种注册方法的相对注册误差
空间关系 接着，本文基于目标三维包围盒的空间位置信息，结合场景三维注册结果与相机实时位姿，计算目标在视野图像中的平面包围盒，从而实现从三维装配空间到二维检验图像平面的位置对应，将包含复数目标的检验图像分割为若干个仅包含单个目标的局部图像。相机的可视空间是一个棱台，当目标位于棱台范围内时，目标可见。通过三维注册，可以获取相机在装配场景中的姿态，通过坐标系转换，将目标位置转换到相机可视空间中，再通过相似三角形关系，将目标位置转换到相机近剪切平面上，最终，转换到成像平面，即二维图像上。
图4 AR透视投影关系（a）AR视锥；（b）透视投影模型；（c）模型可视性；（d）近剪切平面与成像平面
经推导，目标的像素位置与像素半径与其近剪切空间位置之间存在线性关系，在设备内置参数不完全已知的情况下，可以通过采集实验点与插值法，估计其数学关系。
图5 透视投影坐标与像素坐标之间的线性关系
进一步地，本文利用AR系统空间感知的优势，对检验图像中的对象遮挡、方向偏转、视角不良进行处理分析，进一步提高检验样本的质量。
图6 部分遮挡
图7 相机偏转
图8 视角不良
装配检验 最终，结合基于神经网络的视觉检测算法，对局部图像进行检测，并与该局部对应的检验目标的先验信息进行对比，判断装配结果与错误类型。本文对漏装（应有设备的位置未安装任何设备）、错装（应有设备的位置安装了错误类型的设备）、误装（不应有设备的位置安装了设备）、安装方向错误（设备类型正确，但安装方向与参考不一致）这四种常见装配错误进行了检验。本文使用了两个分类模型，对局部图像中包含的仪器类型与其安装方向进行了分类，再结合先验知识中的参考装配信息，判断装配错误。
图9 常见的机械装配错误。（1）错装；（2）漏装；（3）误装；（4）安装方向错误。
【结果讨论】
本文提出的基于AR的装配检测方法在实际的火箭装配车间中得到了应用。为了避免在每个产品上张贴标记的重复过程，本文在产品的夹具上部署了标记。本文在三个不同的客舱上测试了ARAIS的准确性和稳定性，获得了优异的性能。结果表明，ARAIS在处理多个离散的视觉检查目标时是准确和高效的，可以帮助用户做出一些直观的判断，为他们节省相当多的时间和劳动。
从应用过程中，我们总结了该方法的几个优点。首先，本文所提出的基于AR的检测系统可以自动实现检测过程，这可以降低工人的工作压力。其次，基于多标记的注册方法操作方便，可以有效地定位和分割多个目标。通过视觉引导和从位置一致性出发的检验思路，可以避免在复杂场景中对某些位置的检查缺失的发生。此外，AR空间感知可以帮助解决一些不充分的检查样本，如部分遮挡、摄像机偏转和视点差。最后，AR系统还可以将装配检查结果直观地实时呈现给用户的视场，方便用户纠正装配错误。
【全文小结】
（1）提出了一种基于多标志相互校准的空间三维注册算法，能够在少数标志的情况下精确注册较大的装配场景；
（2）提出了一种AR使能的离散设备检验方法，通过空间注册与透视投影，建立起绑定到模型的先验知识与设备局部图像的对应关系，并利用AR系统的空间感知能力处理不良样本来提高检验准确率；
（3）开发了一套增强现实辅助装配检验系统，并在实验平台与真实火箭舱段上进行了测试，验证了系统的有效性与可靠性。
【未来展望】
AR技术在辅助装配领域的应用在过去的数年中得到了广泛的认可与研究，但是其应用也到了一个瓶颈，仅仅使用AR进行装配过程的引导或教学工作的收益，难以持平AR辅助系统庞大的开发工作量。为了扩展AR辅助装配系统的功能性，“AI+AR”是必然的新研究方向。未来在本文的研究基础上，我们计划将结合6自由度估计算法，用于定量测量装配姿态的误差，并处理非固定装配的仪器的类似情况。此外，如何将我们提出的基于AR的检测方法扩展到电缆等柔性物体，也值得进一步研究。