边缘云计算丨AR 边缘云技术,无处不在

企业纷纷发布了令人眩目的新技术并拓展其基于云的服务模式,如结合 AR 技术的 3D 高精度地图服务——Cybervers 和基于视觉定位系统 Live View 的 Maps AR 导航功能(www.Lichou.com.cn)。

5G 时代的到来和商用化部署的加速,加速了数字信息流转以及物联规模的发展,并以更加安全和灵活的方式保护了数字资产和隐私信息,为物理和数字世界的融合与启动以视觉自然交互为基础的人物交互机制(HTI:Human Things Interaction) 开辟了高速公路。

AR云的定义和重要作用

增强现实(AR)技术,融合了视觉感知为主的空间语义感知和以混合内容渲染为主的可视化内容生成技术,并通过新兴近眼显示为核心的可穿戴设备系统工程推动人和物理世界的自然交互,实现了“所见即所知”以及抛弃键盘、鼠标和显示器的信息传递高速公路。

作为一种革命性人机交互方式(HTI)的撬动支点,AR 集合了大量现代技术进步和成果,包括以机器视觉和SLAM 为核心的人工智能技术,以及以云部署和大数据融合为基础的信息后台技术,和以光波导为当前主要应用模式的近眼显示技术,同时最近大量商业化部署的 5G 技术也成为其连接技术的主要支柱。结合 AR 这个系统技术集合,行业的数字知识资产的融合和基于视觉触发的高速信息交互,为智能制造、数字孪生以及新兴的智慧城市服务提供了更加广阔的想象空间。

现阶段,在智能制造趋势下工业企业纷纷开始了探索新型信息化提升的路径,以实现增效降本,增强企业竞争力的目的。其中工业制造过程也是一个应用场景复杂,且垂立领域特点显著的实施场景。

首先:制造场景存在

1.生产场景环境复杂,如有大量移动的设备、人员和车辆;

2.设备多样,无论是外形、内部专业结构、或电气和电路连接拓扑;

3.设备运行环境差异大,可能存在高温、高危、高电磁的运行工况;

4.涉及的协作工段和流程多,对于精细化和柔性管理的要求高。

其次:作为制造环节中最重要的因素 -- 人

无论从需要掌握的专业技能还是需要关注的综合领域信息都呈现出愈来愈快速发展的趋势,同时高速运行的制造过程也要求生产人员更加专注的关注快速变化生产和实施过程。

在继互联网技术赋能的数字化信息制造过程演进后,核心要素人和设施设备的“人”和“物”的交互(革命性人机交互方式(HTI))和信息流加速就成为对智能制造向下一步生产力提升演进的重要途径。

当前利用 AR 技术与一体机设备这种可远程、实时性、主动式、多视角融合、多场景交互、解放双手的信息呈现形式,辅助产业工人的生产工作和培训,把互联网和信息技术延伸到一线员工的工作当中已被很多工业巨头积极实践,如通用和 GE等,取得了大幅提升工作人员信息获取与转化率从而提高劳动效率的积极结果,即实现了——“增效降本,增强企业竞争力”。

目前,比较完整的 AR 云辅助智能制造系统如图 1-3 所示,包含了利用 AR 增强现实技术、AI 人工智能技术、IOT 物联网、云计算、5G 通讯技术以及 5G+MEC 边缘云技术的融合,以云 AR 智能终端系统作为连接现场作业人员、设备、运维中心和非现场人员的智能化工具,实现跨地域数据资源共享和生产过程监督管控以及非现场专家的远程指导。

在以上场景中,辅助 AR 设施需要最大程度具备灵活性和轻便性,以便生产现场的工作高效开展。云 AR 智能运维中心部署在云端,提供 AR 应用服务和交互以及数据知识库沉淀与智能化分析服务,通过在边缘云计算中心执行 AI/AR 算法引擎,提供算法模型的微服务管理、在线部署服务、模型运行监控和资源调度管理,从而提高生产效率,实现业务闭环。

AR云的核心功能框架

云 AR 智能终端系统作为连接现场作业人员与设备以及运维中心和非现场人员的智能化工具,是人物交互方式(HTI)和信息流加速的核心路径。同时它要求最大程度具备灵活性和轻便性,并具备足够的续航时间。这就为整个 AR 云构架提出了一个核心演进的方向,如图 1-4 所示。

其中,在 5G 通讯等核心技术的发展支撑下,AR 智能终端由应用内容存储、感知、数字化内容渲染、用户交互和显示综合能力本地化部署,逐渐向仅包含显示和用户交互的轻量化能力部署转化,以云服务模式强化信息流融合和加速,以及深化数据服务的层次,同时提升灵活性和轻便性。

同时,在环境复杂、设备多样的场景下,前端完成视频内容内关注设备对象的空间识别以及场景识别以构建人物交互(HTI)通道,需要非常复杂的机器视觉算法的支撑,有效的利用云端算力也方便了人物交互的广泛利用和应用场景的多样性。

AR 及其云服务应用领域广阔,在其推广和普及的过程中用户体验关注点成为推动产业进步和技术变革的核心动力和指标。参照 PTC 的调研报告《State of Industrial Innovation》(工业创新发展状况)系列报告 68%的工业企业正在加速增强现实的采用,同时结合 GSMA 相关工业场景的调研报告,如图 1-5 所示,影响客户的项目部署和规模推广的核心问题主要源自三个领域:

1.识别和跟踪定位(三维注册)这一核心环节和技术基础的整体体验;

2.人机交互的部件组成和整体,如交互器件 AR 显示终端的体验感受和整体交互方案体验感受;

3.和使用及投资成本相关的主要问题,如终端成本。

云端分析功能和数字信息融合功能的边缘化部署,成为提高领域的重要手段,同时视频内容关注设备对象的空间识别以及场景识别的适用范围的扩展(即 AR 技术本身的提升)为平摊设备的使用成本和提升收益,以及提升识别和跟踪定位的体验就显得异常重要。而脑机接口的引入,为加速语义信息流转和更自然的人机交互提供了想象空间。

AR 技术核心技术框架

作为人物交互(HTI)通道的核心技术体系,AR 其实就是需要解决识别并跟踪定位需要交互和已经关注的现实场景目标,并根据手势或语音等交互方式完成意图的传递,以最终实现结合现实场景目标信息叠加的显示。

随着应用场景的进一步拓展,以及应用场合的不断丰富,包括多人的长效体验,AR 的核心技术体系,特别是考虑到云端处理,也逐渐丰满和清晰。在垂直应用领域可以清晰可见的 AR 核心技术体系包括 :

三维语义注册:对现实场景的语义和空间理解和重构 ;

三维融合生成:完成结合现实场景的数字信息生成和叠加 ;

人机实时交互技术:用户可与真实世界甚至虚拟物体进行实时的自然交互。

三维语义注册

三维语义注册:对现实场景的语义和间理解和重构。包含了对于实景的三维结构恢复和重建,以及虚拟环境的实时三维注册技术两个部分。

一、其中三维结构的恢复和重建常常用来建立实景与观察者视野(相机)的坐标转换关系,为虚拟物体与现实空间的三维注册奠定基础。其包含了多视图几何原理的遵循,以及图像的特征点的提取和匹配、运动恢复结构、三维几何重建、表面纹理重建等核心技术。近年日益普及的深度传感器对于高效和准确的完成三维重建存在积极作用,但传感器本身精度的差异化,以及当前技术所能达到的精度范围,还需要探索有效方法以实现最终场景精确的稠密重建。

二、其中虚拟环境的三维注册技术常常用来实现让虚实环境共享同一空间坐标系,以实现将虚拟景物嵌入其中的目的。其包含了同时定位与地图构建(SLAM),平面标志物的检测和识别与跟踪,以及三维实物的检测、识别与跟踪等核心技术。目前三维实物的跟踪已逐步进入实用化的阶段,但在工业界的大规模应用尚有距离。

三维融合生成

三维融合生成:结合现实场景的数字信息生成和叠。包含了虚拟物体的绘制、现实环境的光照估计、虚实视觉融合和信息与现实环境的融合显示技术;同时空间增强实现技术也与其密切相关。

其中空间增强实现技术涉及空间增强实现的具体方式,包含光学穿透方式、以及光场方式和多投影呈现方式,同时也包括投影画面的几何校正和颜色校正技术等核心技术。

随着 AR 服务从功能倾向逐步向体验倾向的转移,三维融合生成的技术重要性就显得愈加重要,通过准确实现融合光源和周围环境的虚拟数字化对象的形状、位姿、材质和纹理,真实感将跃然眼前。

公司名称:衡水启瑞机械有限公司