不只是游戏！AR/VR正在改变工业制造

来源：贸泽电子

AR/VR的应用

当AR/VR技术出现的时候，人们自然地将其和游戏挂了钩。通过对于虚拟世界的打造和与现实物理世界的融合，AR/VR技术能够带来更为沉浸的游戏体验。

然而，在游戏设备上的市场开拓存在诸多的难点，对于设备的功耗、体积以及内容生态的要求都极为苛刻。但在工业、教育、医疗等多个领域，对于设备形态、功耗的要求并没有那么高，对于垂直应用的生态打造也更为简单。尤其是在工业制造业领域，AR/VR设备正在打开局面，真正实现生产力的提升。

AR/VR和工业应用紧密结合 实现生产效率提升

AR（Augmented Reality）即增强现实，也就是在现实环境中加入虚拟内容显示。VR（Virtual Reality）即虚拟现实，指的是完全模拟一个虚构的环境。而将AR的扩充实境和VR的虚拟实境相混合的场景，则可称为MR（Mixed Reality）。

在工业场景中，AR/VR这项技术已经在各类应用中开始发挥潜能。

· 首先在设计和原型制作方面，VR可以直接展示产品的外观，而无需创建真实的物理原型。这大幅减少了产品设计和审核所花费的时间，同时还可以方便多名设计者同时在同一个项目中进行互动，能够为制造商和客户提供更逼真的产品设计效果。
· 第二是在设备可视化方面，AR/VR技术可以帮助工程师更直观地了解设备的工作原理和各个部件的位置。例如，VR可用于模拟制造过程，使工程师能够识别设备放置或工作流程的潜在问题。AR可用于设备实时信息的虚拟显示，使技术人员能够快速识别问题并进行维修，这有助于减少停机时间并提高设备性能。
· 第三在产线维护和装配线优化方面，通过VR技术模拟生产环境，制造公司可以提前找出潜在威胁并予以消除。通过与数字孪生技术结合，制造商可以提前测试各种不同的装配线方案，在做出任何物理更改之前评估出优秀方案。而通过模拟装配线上产品和工人的移动，制造商还可以识别潜在的碰撞或干涉，优化物料和工人的流线。此外，通过模拟生产线布局变化的影响，制造商可以提前确定优秀布局以使生产效率达到预期。

除了上述提到的应用方向外，在物流和仓储管理、生产事故预防、安全培训和资产追踪等应用上，AR/VR技术也可以带来效率和安全性的提高。


图1：HoloLens 2在制造业中的应用（图源：微软）

以上列举的各种AR/VR技术在工业场景中的应用，绝非只是处于概念阶段，而是已经有实际的案例。

美国空客公司在装配任务中利用Microsoft HoloLens 2 AR眼镜来指导工人轻松访问视觉数据点，从而通过分步说明简化复杂的装配流程；迈凯伦的设计师利用AR/VR技术在逼真的沉浸式环境中进行新车型的设计。

反观国内，AR/VR技术在工业领域的市场前景也是一路看涨，实际应用案例层出不穷，遍布工业应用各个方向。

国内企业应用 拥抱AR/VR技术革新

据亿欧智库预测，2025年中国AR/VR企业级应用市场规模将不低于931亿元，其中工业制造领域市场规模将达到292亿元，仅次于教育市场。而且从技术成熟度来看，远高于其他应用市场方向，具备较高的商业变现可行性。


图2：国内企业级AR/VR应用场景（图源：亿欧）

在钢铁行业，宝武钢铁的AR智能运维系统，打造了全新的冶金业设备运维工作方式；在能源行业，正泰集团引入AR配电运维系统，实现新手员工的可视化指导；在纺织行业，国机集团武汉纺友引入VR系统，基于真实数据构建的虚拟现实系统可以逼真还原现实生产环节；在石化行业，东北石油局集成AR技术，有效释放了专家资源；在家电行业，海尔引入AR首件质检系统，实现更准确高效的全数字化质检场景。

那么AR/VR技术是如何在这么多具体工业应用中发挥作用的呢？我们展开海尔的例子来看一下。

在家电制造业，首件产品检测对生产质量把控意义重大。如果首件产品质量问题不能及时发现，可能会导致企业后续整体产线整个批次的产品问题，带来重大损失。当前大多数工厂仍采用人工检查和纸质单据填报的方式，整个过程参与人员众多，数据上传滞后、效率极低。


图3：海尔首件质检系统（图源：海尔）

海尔滚筒互联工厂于2021年开始引入AR首件质检系统，质检人员在质检过程中佩戴AR眼镜，为其实时定位部件位置，提供检验内容、操作指导等数字信息；并且可以通过语音进行整个质检系统的输入、配置等交互操作。完成检测之后，数据直接通过AR眼镜上传至AR首件质检系统的数据库中，提高了质检可追溯能力，助力海尔在首件质检中效率提升。

IDC预测，2026年全球AR/VR总投资规模将增至747.3亿美元，其中中国的投资规模将增至130.8亿美元，为全球第二大单一国家市场。而随着AR/VR技术在工业应用中的普及，近两年来工业元宇宙的概念也被频频提起。据TrendForce预测，工业元宇宙将推动全球智能制造业在2025年达到5,400亿美元的市场规模。


图4：中国AR/VR市场支出预测（图源：IDC）

AR/VR交互的基础 深度图像的实时感知和捕捉

人眼晶状体通过肌肉的伸缩和舒展，能够自动实现焦距调节，将远近不同物体准确成像至视网膜上。双眼在对同一个物体聚焦时，两眼之间的物像差异就是双眼视差。将此双眼视差信息在大脑视觉皮层进行处理，就可以让我们判断出到物体的实际距离。

我们是靠人眼来感知物理世界的深度信息，而AR/VR交互的基础，则是通过深度相机来实现对于实境的图像信息的捕捉。普通的相机拍摄的是二维的平面坐标信息，而深度相机能够定位图像中每一个点的深度数据，实现XYZ三维坐标信息的采集。

目前市面上常见的深度相机方案有三种，分别是结构光、双目视觉和ToF。

结构光是通过光学手段获取被拍摄物体的三维结构。首先近红外激光器将具有一定结构特征的光线投射到被拍摄物体上，再由专门的红外摄像头对这些光线产生的不同图像相位信息进行采集，之后运算单元将这些返回的编码图案的畸变进行算法计算，从而获得物体的位置和深度信息。

ToF是通过测量光脉冲的飞行往返时间来计算距离。激光器发射的连续激光脉冲，碰到物体之后会反射回来，然后被接收器接收，通过计算往返的时间差来获得物体具体位置信息。

双目视觉也称双目立体视觉，基本原理与人眼类似。利用两个传感器获取同一个被测物体的两幅图像，然后计算图像对应点间的位置偏差，来获取物体的三维信息。


图5：双目立体深度相机的工作原理（图源：www.revopoint3d.com)

这三种深度相机都可以获得物体的三维信息，但各有优劣。结构光深度相机精度较高，但需要较长的曝光时间，因此不适用于高速运动场景；但因其采用主动光源形式，因此夜晚也可以正常工作；ToF深度相机能够实时测量深度，并且探测距离更长，但在明亮的光线条件下可能会受到干扰；双目深度相机受到两个传感器之间的视差影响，对于较远的物体位置检测不够准确，同时图像信息处理的计算量较大。

在AR/VR应用中，深度相机既可以实时跟踪用户的面部表情、头部和手部动作，以提高沉浸感和交互性，改善虚拟体验；又可以获取周围环境的实时深度信息，精确定位物体位置，使虚拟世界和现实世界的融合更加自然。


图6：各种结构光和ToF深度相机的工作原理（图源：ResearchGate)

体积更小、更快开发 更易集成的深度相机

要在整个系统中添加深度相机，既要考虑算法开发和应用匹配，又要考虑功耗、体积和算力需求。如果能够直接选择一款完整成熟的深度相机方案，无缝地集成到现有的系统中，就可以加快开发进度，实现事半功倍的效果。

Intel RealSense立体视觉（双目）深度相机系列，就是这样一套成熟方案。据悉，该系列是市场上非常广泛的深度摄像头产品线，拥有一系列激光雷达、立体传感器和跟踪摄像头，可在不同条件下的多种环境中运行。同时整个产品线中采用了统一的软件开发套件(SDK)，这使得开发人员能够快速适应，在单一解决方案中轻松使用多个摄像头，实现更快的产品上市时间。

Intel RealSense提供了多种不同的产品型号，但采用了统一的D4系列处理器。该处理器使用先进的算法处理来自深度相机的原始图像流，无需专用GPU或主机处理器即可计算高分辨率3D深度图。将此视觉处理器添加到客户的AR/VR、机器视觉系统中可以实现快速定制设计，从而为系统的主机处理器释放更多带宽。


图7：Intel RealSense D4处理器（图源：Intel）

D405是整个Intel RealSense系列中，新推出的外型尺寸极小的一款深度相机，比一个高尔夫球还要小。该型号适用于短距离应用（7cm至50cm），能够在7cm处检测到500微米的小物体。该产品集成了可提供匹配RGB和深度数据的高分辨率、彩色、全局快门深度传感器，并通过图像信号处理器(ISP)对来自深度传感器的RGB数据进行增强。


图8：Intel RealSense D405拆解图（图源：Intel）

在贸泽电子搜索料号“82635DSD405”，就可以获取关于Intel RealSense D405的更多详细信息。

而除了深度相机外，通常在AR/VR设备中，也会集成IMU或三轴加速度计这一关键器件。IMU即惯性测量单元（Inertial Measurement Unit），在头戴设备中用于追踪用户头部的旋转角度和倾斜运动；在手柄和控制器上用于跟踪手部动作，实现自然的手势控制；在VR应用上，IMU还可以用于实时模拟重力、物体运动和物理互动。


图9：Intel RealSense 系列对比（图源：Intel）

在Intel RealSense的多款型号中，更是直接在相机内部集成了IMU单元。如果想要在系统中添加更多的动作识别和肢体跟踪的功能，还可以再多集成一个三轴加速度计。在此我们推荐来自NXP Semiconductors的一款低功耗12位数字加速度计，具体型号为“FXLS8967AFR3”，可以直接在贸泽电子搜索了解更多详情。

结语

随着AR/VR技术在工业应用上的普及，以及与工业互联网、智能制造和数字孪生等技术的深度融合，工业制造将会迎来新一轮的生产效率提升。在不远的未来，工业元宇宙或将成为现实。