华为 AR Engine 安装量已达到 11 亿次，接入应用超 2000 款（华为ar engine是干什么的）

IT之家 12 月 10 日消息，今日举行的 FBEC2021 上，华为 VR / AR 产品线总裁李腾跃表示，华为 AR Engine 安装量已达到 11 亿次，已覆盖机型 106 款，已接入应用超 2000 款。

AR Engine 服务是一个用于在 Android 上构建增强现实应用的引擎。AR Engine 通过整合 AR 核心算法提供了运动跟踪、环境跟踪、人体和人脸跟踪等 AR 基础能力，通过这些能力可让您的应用实现虚拟世界与现实世界的融合，为您的应用提供全新的视觉体验和交互方式。

借助 AR Engine ，开发者可为您的应用提供运动跟踪、人体和人脸跟踪、环境跟踪等 AR 能力，助力应用融合虚拟世界与现实世界，打造全新的视觉体验和交互方式。

目前 AR Engine 可提供三大类能力，包括运动跟踪、环境跟踪、人体和人脸跟踪。

AR Engine 借助这些能力来更好的理解现实世界，为用户提供虚实融合的全新交互体验：

• AR Engine 的运动跟踪能力主要通过终端设备摄像头标识特征点，并跟踪这些特征点的移动变化，来不断跟踪终端设备位置和姿态。

• AR Engine 的环境跟踪能力可以识别平面（如地面、墙壁等）和物体（如立方体、矩形、圆形等），也可估测平面周围的光照强度。

• AR Engine 的人体和人脸跟踪让您的终端设备具备了对人的理解能力。通过定位人的手部位置和对特定手势的识别，可将虚拟物体或内容特效放置在人的手上；结合深度器件，还可精确还原手部的 21 个骨骼点的运动跟踪，做更为精细化的交互控制和特效叠加；当识别范围扩展到人的全身时，可利用识别到的 23 个人体关键位置，实时的检测人体的姿态，为体感和运动健康类的应用开发提供能力支撑。

运动跟踪

持续跟踪设备相对于周围环境的位置和姿态变化轨迹，建立虚拟数字世界和现实物理世界的统一几何空间，为您的应用提供虚实融合的交互基础平台。目前运动跟踪主要包括以下能力：运动跟踪、命中检测。

• 运动跟踪

  持续稳定跟踪终端设备的位置和姿态相对于周围环境的变化，同时输出周围环境特征的三维坐标信息。

  AR Engine 主要通过终端设备摄像头标识特征点，并跟踪这些特征点的移动变化，同时将这些点的移动变化与终端设备惯性传感器结合，来不断跟踪终端设备位置和姿态。

  通过将 AR Engine 提供的设备摄像头的位姿与渲染 3D 内容的虚拟摄像机的位姿对齐，您可从观察者视角渲染虚拟物体，并可叠加到摄像头图像中，实现虚实融合。

• 命中检测

  用户可通过点击终端设备屏幕选中现实环境中的兴趣点。

  AR Engine 通过命中检测技术，将终端设备屏幕上的兴趣点映射为现实环境中的兴趣点，并以兴趣点为源发出一条射线连接到摄像头所在位置，然后返回射线与平面（或特征点）的交点。命中检测能力使您可与虚拟物体进行交互。

环境跟踪

跟踪设备周围的光照、平面、图像、物体、环境表面等环境信息，辅助您的应用实现虚拟物体以场景化的方式逼真地融入现实物理世界。目前环境跟踪主要包括以下能力：光照估计、平面检测、图像跟踪、环境 Mesh、平面语义、3D 云识别、目标语义。

• 光照估计

  跟踪设备周围的光照信息，支持估计环境光的强度。

  AR Engine 可跟踪设备周围的光线信息，并计算出摄像头图像的平均光照强度。光照估计能力可让虚拟物体融入到真实的光照环境中，看起来更加逼真。

• 平面检测

  检测水平和垂直平面（例如地面或墙面）。

  AR Engine 可识别到水平和垂直平面（地面或墙面）上的成群特征点，并可识别到平面的边界，您的应用可使用这些平面来放置您需要的虚拟物体。

• 图像跟踪

  识别和跟踪 2D 图像的位置和姿态。

  AR Engine 提供图像识别与跟踪的能力，检测场景中是否存在用户提供的图像，识别之后输出图像的姿态。

  通过图像识别与跟踪功能，您可实现基于现实世界场景中图像（海报或封面等）的增强现实。您可提供一组参考图像，当这些图像出现在终端设备的相机视野范围内时，AR Engine 可为您的 AR 应用实时跟踪图像，丰富场景理解及交互体验。

• 环境 Mesh

  实时计算并输出当前画面中的环境 Mesh 数据，可用于处理虚实遮挡等应用场景。

  AR Engine 提供实时输出环境 Mesh 能力，输出内容包括终端设备在空间中的位姿，当前相机视角下的三维网格，目前拥有后置深度摄像头的机型支持，且支持的扫描环境为静态场景。

  通过环境 Mesh 能力，您可将虚拟物体放置在任意可重建的曲面上，而不再受限于水平面和垂直面。同时您可利用重建的环境 Mesh 实现虚实遮挡和碰撞检测，使得虚拟角色能够准确的知道当前所在的周围三维空间情况，帮助您实现更好的沉浸式 AR 体验。

• 平面语义

  识别平面语义（例如桌面、地板、门等）。

  AR Engine 可识别当前平面的语义，目前可以识别桌面、地板、墙壁、座位、天花板、门、窗户、床。

• 3D 云识别

  识别和跟踪 3D 物体的位置和姿态。

  AR Engine 检测场景中是否存在用户在云侧配置的 3D 物体，当这些物体出现在终端设备的相机视野范围内时，云侧实时返回识别结果至终端设备，实现基于现实世界场景中 3D 物体的增强现实。

• 目标语义

  识别物体的标签及形状。

  AR Engine 可识别物体的标签和形状，目前可以识别桌子、椅子，支持识别的形状包含立方体、圆形、矩形。

• 2D 云识别

  识别和跟踪云端 2D 图像的数据。

  AR Engine 检测场景中是否存在用户在云侧配置的 2D 图像，当这些图像出现在终端设备的相机视野范围内时，云侧实时返回识别结果至终端设备，实现基于现实世界场景中 2D 图像的交互。

人体和人脸跟踪

跟踪人脸、人体、手势等实时信息，以辅助您的应用实现用户与虚拟物体交互的能力。

• 手势识别

  识别特定的手势和特定的动作。

  AR Engine 提供多种特定手势的识别，输出识别到的手势类别结果并给出手掌检测框屏幕坐标，左手和右手均可支持。当图像中出现多只手时，只反馈单手（最清晰且置信度最高）识别结果和坐标信息。支持前后置相机切换。

  通过手势识别能力，可将虚拟物体叠加到人的手部位置，并根据不同的手势变化来激活某些状态的切换，这可给您的 AR 应用提供基础的交互功能并增加新的玩法。

• 手部骨骼跟踪

  识别和跟踪 21 个手部关节点的位置和姿态，形成手部骨骼模型，并可分辨左右手。

  AR Engine 提供单手关节点和骨骼识别能力，输出手指端点、手部骨骼等手部高级特征。当图像中出现多只手时，只反馈单手（最清晰且置信度最高）识别结果和坐标信息。目前仅 Mate 20 Pro、Mate 20 RS 前置深度摄像头支持。

  通过手部骨骼识别能力，您可将虚拟物体叠加到更为精确的手部位置，例如手指尖、手掌心等；利用手部骨骼，可驱动虚拟手做出更为丰富和精细的动作，这可给您的 AR 应用提供增强的交互功能和难以置信的新奇玩法。

• 人体姿态识别

  识别特定的人体姿态，目前支持 6 种特定姿态。

  AR Engine 提供单人的身体姿态识别能力，识别六种静态身体姿势并输出识别结果，支持前后摄像机切换。

  您可将人体姿态识别能力运用在需要识别动作并触发某些事件的应用场景，比如交互界面控制、游戏操作动作识别等触发类交互行为，是体感应用的基础核心功能，为您的 AR 应用提供较远距离远程控制和协作的能力，丰富应用的交互体验。

• 人体骨骼跟踪

  识别和跟踪 23 个身体骨骼点的 2D 位置（或 15 个骨骼点的 3D 位置），支持单人和双人。

  AR Engine 提供单人和双人的身体关节点识别能力。支持 2D 骨骼（屏幕坐标系）和 3D 骨骼（与 SLAM 结合的空间坐标系）的输出，支持前后置相机切换。

  通过人体骨骼识别能力，您可将虚拟物体叠加到人体的指定部位，例如左肩、右脚踝等；利用人体骨骼，可驱动虚拟人偶做出更为丰富和精细的动作，这可给您的 AR 应用提供大范围的交互功能和难以置信的新奇玩法。

• 人体 Mask

  识别和跟踪当前画面人体所在区域，并提供该区域的深度信息。

  AR Engine 提供单人或双人身体轮廓的识别和跟踪能力，实时输出人体轮廓 Mask 信息和对应的骨骼点信息。

  通过人体轮廓跟踪能力，您可利用人体的轮廓 Mask 信息对虚拟物体和场景进行遮蔽。比如在 AR 拍照时更换虚拟背景、让虚拟玩偶躲到人身后等，都可使用 Mask 能力来实现更为自然的遮挡效果，这可进一步提升 AR 应用的真实感和观看体验。

• 人脸表情跟踪

  实时计算人脸的位姿及各表情对应的参数值，可用于人脸表情直接控制虚拟形象的表情。

  AR Engine 提供人脸表情跟踪的能力，跟踪获取人脸图像信息，实时将其理解成人脸表情内容，并转化成各种表情参数。利用表情参数可控制虚拟形象的表情展现。

  AR Engine 提供的表情种类为 64 种，包含眼睛、眉毛、眼球、嘴巴、舌头等主要脸部器官的表情动作。

• 人脸 Mesh

  实时计算人脸的位姿及 Mesh 模型数据，Mesh 模型数据实时跟随人脸形变和运动。

  AR Engine 提供高精度人脸 Mesh 建模及跟踪能力，在获取人脸图像信息后，实时建立逼真的 Mesh 模型。Mesh 模型随着人脸的移动变形发生相应的位置和形状变化，达到实时精确捕捉动作的效果。

  AR Engine 提供 4 千多个顶点、7 千多个三角形面片的 Mesh，能精细勾勒脸部轮廓，增强体验效果。

• 人脸健康检测

  实时计算人脸健康信息，同时计算人体关键健康信息（如心率等）。

  AR Engine 提供人体健康检测的能力，包括心率、呼吸率、面部健康状态、心率波形图信号等健康信息。

IT之家了解到，AR Engine 的优势包括：

软硬优化：整合模组、芯片、算法和 HarmonyOS 系统，采用硬件加速，提供效果更好、功耗更低的增强现实能力。

差异化能力：基于华为设备的独特硬件，在基础的 SLAM 定位和环境理解能力外，还提供手势、肢体识别交互能力。

多设备支持：支持在众多华为设备上集成 HUAWEI AR Engine，下载量已超过 11 亿。