本文的预印本(早期版本)可在https://preprints.www.mybigtv.com/preprint/36734,首次出版
基于混合现实的协作机器人控制新框架:发展研究

基于混合现实的协作机器人控制新框架:发展研究

基于混合现实的协作机器人控制新框架:发展研究

原始论文

1美国威斯康辛大学密尔沃基分校计算机科学系

2美国威斯康星州密尔沃基市马凯特大学计算机科学系

3.威斯康辛大学密尔沃基分校机械工程系,美国威斯康星州密尔沃基市

*这些作者贡献相同

通讯作者:

Md Tanzil Shahria,理学士

计算机科学系

威斯康星大学密尔沃基分校

克拉默大街3200号

密尔沃基,威斯康星州,53211

美国

电话:1 4147376701

电子邮件:mshahria@uwm.edu


背景:机器人在日常生活中的应用正变得至关重要,因为它在不同领域创造了新的可能性,尤其是在协作环境中。协作机器人的潜力是巨大的,因为它们可以与人类在同一个工作空间工作。一个采用顶级技术的协作机器人框架肯定值得进一步研究。

摘要目的:本研究的目的是提出一个新的框架,为协作机器人使用混合现实的发展。

方法:该框架使用Unity和Unity Hub作为跨平台游戏引擎和项目管理工具来设计混合现实界面和数字双胞胎。它还使用Windows混合现实平台在全息显示器上显示数字材料,并使用Azure混合现实服务捕捉和暴露数字信息。最终,它使用全息设备(HoloLens 2)来执行基于混合现实的协作系统。

结果:通过实验验证了基于混合现实的新型协作机器人控制框架。该框架已成功应用于混合现实环境下使用5自由度机器人(xArm-5)实现协作系统。框架是稳定的,并且在整个协作会议期间顺利工作。由于云应用程序的分布式特性,在发出命令和物理协作机器人执行之间的延迟可以忽略不计。

结论:协作机器人在远程康复和远程操作中的机会与其他任何领域一样至关重要。所提出的框架已成功应用于协作会话,它也可以应用于其他类似的潜在应用程序,以获得更强大和更有前途的性能。

JMIR Biomed Eng 2022;7(1):e36734

doi: 10.2196/36734

关键字



背景

机器人通过在许多方面影响和贡献我们的日常生活,正在成为人类的朋友。它们可以为我们进行复杂或重复的活动,从家庭工作到工业工作、医疗、安全等等。1].机器人不仅可以协助繁重的工作,还可以帮助教育,特别是在COVID-19大流行期间。在人工智能的帮助下,机器人现在可以像朋友一样监控我们的行为,了解我们的好恶。他们提供各种各样的服务,有效地应用于不同的行业。机器人可以通过执行准确、精确、快速、一致和高质量的工作来提高一个行业的生产力[2].他们可以在危险环境中超越危险任务,确保安全。

协作机器人,也被称为合作机器人,它们被设计成与人类在同一个工作空间工作,使情况变得更简单,更有效率。3.].机器人和人类巧妙地一起工作,机器人协助人类同事完成不同的任务[4].这种人类和机器人之间的合作正在改变工业生产策略。越来越多的行业每天都在转向这种制造方式,因为它具有灵活性、生产率、安全性、伤害风险降低以及生产性能的质量。5].由于近年来协作机器人在各个领域的应用取得了进展,该领域的全球市场规模每天都在增长。2018年,该行业市值约为6.491亿美元,预计到2025年将扩大至44.5% [6].因此,毫无疑问,协作机器人的潜力是巨大的,需要更多的研究来完善这一领域的不同方法和应用。

为了支持协作机器人在不同潜在领域的需求,研究人员正在为不同的协作机器人应用提出不同的框架。一些研究人员采用了基于代理的系统[7],而其他人也探索了顺从控制[8-10]和以人体工程学为基础的方法[11].尽管如此,研究人员应该考虑其他最先进的基于技术的方法,为协作机器人的巨大潜力设计一个坚实的基础。这个时代的前沿技术之一是混合现实(MR),它融合了数字和物理世界,为各种应用提供了有前途的解决方案[12].MR将虚拟现实和增强现实结合在一起,让我们将现实世界与数字数据结合在一起。不同领域的近150家公司已经采用了基于mr的解决方案,据估计,到2025年,超过1440万美国员工将使用智能眼镜[13].混合现实的可能性是巨大的,特别是在需要人类互动的地方。因此,如果混合现实能够成功地应用于协作机器人框架的设计,将具有广阔的应用前景。

在本研究中,提出了一种基于混合现实的协作机器人框架。采用Unity、Unity Hub、Windows混合现实(WMR)平台和Azure混合现实服务设计框架,并使用全息设备(HoloLens 2)执行。该框架可用于各种协作应用,如远程康复或远程操作。

本文的其余部分概述如下:首先,简要讨论了该研究领域的一些最新进展;然后,介绍了该框架的开发,以及混合现实协作机器人的系统架构和控制;然后,用实验的框架和结果说明了一个实验;最后,对研究结论进行了阐述。

相关工作

协作机器人是机器人技术的一个潜在领域,目前研究人员正在对其控制系统进行研究。很少有研究人员采用统一的方法,将阻抗模型与带有摩擦的动态模型合并,并优化装配[14].他们对内回路采用比例导数控制,外回路采用阻抗控制。为评价该系统的效率,采用六自由度系列协同机器人完成固钉装配任务,系统性能准确、灵活。一项研究提出,通过评估协作机器人的机动性,可以估计机器人系统的性能[15].大多数可用的解决方案都是针对单个机器人,但该模型是使用3辆汽车进行评估的。该模型的表现比现有的大多数策略都要好。另一项研究通过计算人类和机器人之间的距离和相对运动,使用几何原语、吸引向量和假设的斥力来代表人类和机器人作为同事[16].通过将该思想与机器人的运动学表示结合应用,系统通过生成标称路径来实现避碰控制,从而在执行工业操作时谨慎地避免与人类碰撞。为了保证运动的持久性,还引入了排斥矢量重塑,避免了碰撞,使机器人运行平稳成功。

康复机器人和辅助机器人是协作机器人的两个潜在应用领域。研究人员正在研究不同的方法,利用基于皮肤表面肌电信号的信号[17],非线性滑模控制[18],几何解[19],平面度几何性质的变量变换[20.使用协作机器人来设计康复机器人。研究人员还从任务演示中跟踪学习潜在行为[21],强化学习[22]、数码图像处理[23],以及基于眼动追踪的机器人辅助控制[24协作机器人的方法,专注于辅助应用。

一项研究建议通过考虑可接受的最大速度来控制机器人的动量,以确保人类同事的安全[25].该系统利用碰撞模型来预测碰撞过程中的最大力,从而估算出允许的顶部速度。该系统在不危及人员安全的情况下,增强了协同任务的功能性和生产力。很少有研究人员提出了一种新的协作机器人系统,它混合了移动机械手和多余的肢体[26].他们的机器人可以自主操作,并作为人体的附加部分与人类连接。其他研究人员提出了一个由硬件、软件和具有认知能力的类人机器人的操作架构组成的协作系统[27].机器人可以识别人类同事可能需要的帮助,识别他们的活动,抓取物体,导航等等。实验评估表明,该机器人在执行协同任务时安全可靠。

研究人员还在探索基于框架的方法,为不同的应用构建广义系统。在一项研究中,研究人员为使用交叉架构的类人机器人提出了一个开源框架,这在计算上是低成本的[28].通过仿真和遥测接口对该框架进行了验证,结果表明该框架可用于设计新的算法。在另一项研究中,研究人员提出了一种使用商业机械手及其独特控制方法的人机协作环境框架[10].该框架通过利用人类工人的经验,包括轨迹规划和安全策略,并在工厂进行了评估。在一项类似的研究中,一些研究人员提出了一种用于7自由度手术机器人人机合作的机器人辅助控制框架[29].该框架采用手动运动驱动工具提示,基于3D摄像机的工作空间调整方法,计算最佳仪器方向,采用笛卡尔插值确保安全性。在其他研究中,研究人员提出了不同的人机协作应用框架,如工业信息物理系统[30.,游戏中的互动(如剪刀石头布)[31],以及配合组装工作[32].

基于混合现实的方法越来越受研究人员的欢迎,因为它在许多方面都有潜力。研究人员使用基于混合现实的方法设计了一个人机交互界面,以远程操作机器人[33]和控制遥控机器人平台的用户界面[34].研究人员还利用这些方法设计了各种机器人控制系统。在一项研究中,研究人员开发了一种人机通信接口,使用混合现实技术用于移动平台的交互式机器人操作控制[35].该界面为机器人路径规划提供了工具,并将其可视化,方便工人了解机器人的行为,确保安全。该接口已成功实现并在Microsoft HoloLens上进行了评估。在另一项类似的研究中,研究人员使用混合现实和虚拟现实为行业中的协作机器人设计工作空间[36].使用机器人操作系统和Unity设计系统,并在不同的环境下进行测试。在另一项工作中,研究人员提出了一种用于单机器人和多机器人系统的交互式控制框架,并将混合现实应用于各种应用[37].该系统通过关注机器人目标的可视化来实现与机器人的交互,并且它可以与任何机器人和混合现实接口相关。实验结果验证了该框架在混合现实系统中的性能。


机器人控制混合现实框架的开发

为了从零开始开发基于混合现实的辅助机器人控制系统,需要一些先决条件和一些先验知识。结构设计需要基于Windows操作系统的计算机和Windows SDK(软件开发工具包)以及visual studio。制作混合现实应用的最简单方法是安装Unity或Unreal游戏引擎。38].但是,可以使用DirectX(微软公司)为自定义引擎创建相同的程序。DirectX是一个高级接口,允许直接访问低级功能。它连接到Windows的硬件抽象层[39].Unity是市场上最流行的实时编程开发平台之一,具有基于c++的运行时代码和基于c#的开发脚本[40].Unity和Unity Hub被用作跨平台游戏引擎和项目管理工具。混合现实工具包,如果使用Unity,可以用于输入模拟,以测试各种输入交互,包括手跟踪和眼睛跟踪输入。WMR是微软推出的Windows 10平台。WMR平台使开发人员能够创建应用程序,在全息和虚拟现实显示器上显示数字材料。41].在开发框架时需要混合现实功能工具来配置Unity。接口、生成场景、导入包和向场景中添加游戏对象都需要对Unity有基本的了解。由于Unity脚本是用c#编写的,因此还需要一些基本的c#专业知识。任何先前的NoSQL数据库系统和无服务器功能的知识都将有助于系统设计。最后,要实现该应用程序,需要一个全息设备(HoloLens 2)。通过在工作环境和环境中收集和显示数字信息,Azure混合现实服务可以让人们更有效地创建、学习和协作[42].Azure还在数据传输过程中使用256位高级加密标准和传输层安全性帮助保护存储数据[43].Azure混合现实服务为手机、耳机和其他未连接到互联网的设备带来了3D。Azure远程渲染和Azure空间锚是两种混合现实云技术,允许开发人员跨多个平台创建迷人的沉浸式体验。这些服务可以在开发3D培训、预测设备维护和设计审查应用程序时,将空间感知纳入项目,所有这些都在用户的环境中进行。在开发框架时,必须考虑到辅助机器人的运动学和动力学,这将在下面解释。

辅助机器人

xArm-5机器人是UFactory开发的5自由度末端执行器机器人[44].为了达到高载荷能力(3公斤)和0.1毫米的适当重复性,该机器人配备了高性能谐波减速器和无刷电机。xArm-5的工作空间总面积为0.7米。xArm-5使用Modbus远程终端单元协议,需要RS-485通信来与位置、速度或力控制进行交互。这些特点使xArm-5成为市场上最通用、高精度和多功能机械臂之一。然而,xArm-5相对来说比较重(11.2公斤),这是由于发动机的大尺寸;并且由于其设计特点,该机器人在空闲时间不能折叠(运动学约束)。xArm-5的图形用户界面由UFactory提供,作为xArm Studio和Python、机器人操作系统和c++语言的SDK。在本研究中,使用Python SDK来控制xArm-5的高级功能。

xArm-5机器人的运动学与动力学

在运动学分析中,采用改进的Denavit-Hartenberg (DH)参数指定连杆和关节的xArm构型[45].另一方面,采用迭代牛顿-欧拉法进行动态估计,评估日常生活各项活动所对应的关节力矩。

正运动学

xArm-5机器人的连杆框架分配(根据改进的DH约定)如图所示图1,其中黄色圆点表示指向可视面内的方向,青色圆点表示指向可视面外的方向,z轴定义每个关节的旋转轴。为计算正运动学,文中给出了相应于连杆架分配的修正DH参数表1.此外,表2概述了机器人的连杆参数。

图1。利用修改后的Denavit-Hartenberg参数进行坐标系放置。
查看此图
表1。修改了xArm-5机器人的Denavit-Hartenberg参数。
1 0 -π/ 2 267 0
2 289.4886 0 0 -1.3849
3. 351.1587 0 0 2.7331
4 76 -π/ 2 0 -1.3482
5 0 0 97 0

在这里,ɑ公法线的长度是α吗是关于公法线的角,d偏移量是沿着之前的z轴,和表示关节角。注意术语的长度链接,表示角度的偏移量。这些变量的值显示在表2

表2。xArm-5机器人的尺寸参数。
267毫米 284.5毫米 77.5毫米 342.5毫米 76毫米 rad -1.3849 rad 2.7331 rad -1.3482

联系两个连续坐标系的齐次变换矩阵的一般形式如式(1)所示。

在哪里旋转矩阵代表坐标系吗相对于框架,这个向量是否表示坐标系原点的位置相对于坐标系

此外,是链扭,对应于链接长度,d表示链路偏移量,和θ为xArm5机器人的关节角度(弧度)。关联xArm机器人的两个连续坐标系的单个齐次传递矩阵(图1)由式1推导而来,载于多媒体附件1.坐标系{5}与坐标系{0}之间的齐次变换矩阵可由单个变换矩阵相乘得到,如式(2)所示。

由式(2)得到的单一变换矩阵表示末端执行器相对于基本参照系{0}的参照系位置和方向。

xArm-5机器人的动力学

由牛顿-欧拉公式导出的xARm5机器人的动力学方程可以写成如下形式:

在哪里为机械手的质量矩阵5×5,为5×1加速度矢量,为离心项和科里奥利项的5×1向量,和G(θ)是重力项的5×1向量。表3总结了xArm-5机器人的质量/惯性参数,xArm-5的关节力矩由公式3计算。此外,表4展示每个关节的活动范围。

表3。xArm-5机器人各连杆的惯性参数。
质量(千克) 质心(mm)
链接1 2.177 [0.15, 27.24, -13.57]
链接2 2.011 [36.7, -220.9, 33.56]
链接3 2.01 [68.34, 223.66, 1.1]
链接4 1.206 [63.87, 29.3, 3.5]
联系5 0.17 [0, -6.77, -10.98]
表4。活动范围。
联合 工作范围
关节数,度数

关节1 ±360

关节2 -118 ~ 120

关节3 -225 ~ 11

联合4 ±360

联合5 -97 ~ 180
最大速度,deg/s 180
xArm-5的控制架构

图2说明了xArm-5机器人的控制结构。xArm控制器生成两个命令,关节扭矩和笛卡尔坐标,并每4毫秒更新一次扭矩命令,以便在xArm-5控制器中执行。转矩命令转换为电机电流,最后转换为电机驱动器的参考电压。采用比例积分控制器对系统进行实时控制。它还保证了适当的控制扭矩命令被传输到关节和驱动器的参考电压命令。它还使期望电流和测量电流之间的差异最小化。

图2。系统控制体系结构。我f:滤波电流;我裁判:参考电流;PI:比例积分;问f:滤波关节角;问裁判:参考节理角;V裁判:参考电压。
查看此图
系统架构

本节讨论混合现实环境中涉及协作机器人的协作会话的生命周期。用户通过他们的混合现实耳机启动应用程序,这是应用程序的接入点(HoloLens 2)。有了合适的数字双胞胎和用户,提供商可以构建一个协作会话室。用户以及任何允许的旁观者现在都可以加入协作会话。尽管它们位于不同的位置,但协作会话中的所有用户(包括主机用户(提供者))现在都处于一个数字协作会话中,并与相同的数字双胞胎进行通信。根据不同的需求,提供商可以通过几种方式来调节数字双胞胎。图3显示所连接系统的数据流。

图3。所连接系统的数据流。
查看此图

由于云应用程序的分布式性质,系统可以向数字双胞胎发送命令,由协作机器人物理执行。所有命令都需要一个运行在机器人本地网络上的控制器。WebSocket是一种计算机通信协议,它允许在单个传输控制协议连接上的全双工通信通道,该连接管理所有设备连接和交互[46].混合现实协作会话的用户现在可以使用高级命令来控制协作机器人。如果提供商希望将机器人控制在所需的路径上,它将被限制在固定的路线上,并沿着该轨迹移动不同的距离。在此过程中,用户可以向提供商提供输入,并收集联合参数和扭矩等关键数据并将其发送到云端。例如,使用混合现实耳机,用户可以玩针对特定肌肉或动作的互动游戏,在他们的身体发育中创造一种自信和成就感。因此,整个治疗质量得到了提高。物联网数据可以使用Azure云平台存储和检索。每个协作机器人都将遥测数据发送到云平台,并在那里无限期地存储。在远程治疗的情况下,在每次康复疗程中,相关参数,如患者在各种练习中的运动范围和运动阻力,都被推送到云端。Azure云平台使用这些参数来支持机器学习方法,这些方法可以自适应地为每个用户开发适当的康复策略。图4显示系统架构的详细信息。

图4。详细的系统架构。
查看此图

首先,在混合现实环境的事件序列中,用户在客户端设备上启动应用程序,并通过WebSocket连接Azure应用程序服务。然后,通过Azure Active Directory对用户进行身份验证。随后,用户可以选择他们希望与之交互的数字孪生模型。应用服务将检索与所选数字双胞胎对应的资产,包括3D模型和数据。接下来,应用程序服务为用户提供他们所请求的数据。当系统运行时,Digital Twin将传入的数据推送到Event Hub,从而触发Azure云服务器上的无服务器功能。无服务器函数更新数据库值。在数据流的最后一步,将部署一些机器学习模型,这些模型将使用历史用户数据和实时协作指标来进行未来的自动化结果分析。

基于混合现实环境的协作机器人控制

Azure云平台允许多个用户加入共享协作会话。在这个协作会话中,用户可以可视化一个数字双胞胎并与之交互。数字双胞胎将与物理机器人同步移动,并反映其动作。协作会话中的用户还可以发送高级命令来控制数字双胞胎。

图5显示了所提出的框架的混合现实用户界面。在协作过程中,用户可以通过多种方式控制协作机器人,如关节角度控制、笛卡尔控制和预先规划的轨迹控制。虚拟滑块用于基于关节的控制。另一方面,在笛卡尔模式下,通过在混合现实环境中移动虚拟末端执行器来控制末端执行器。此外,提供者可以在预先规划的轨迹控制模式下为协作机器人设置所需的路径。

图5。混合现实界面。
查看此图

道德的考虑

参与该项目的研究人员参加了实验,以证明使用所提出的框架的遥操作概念的证明。因此,本研究不需要伦理批准。该项目不关注任何干预措施的开发或干预措施的有效性测试;因此,我们没有招募任何参与者,也没有为这个项目寻求伦理批准。


为了验证所提出的框架,一个末端执行器型5自由度辅助机器人被安装在一个桌子上(图6a).该辅助机器人的目的是通过预先训练的轨迹并由医生进行治疗。所设计的应用程序包含混合现实界面,部署到HoloLens 2上控制辅助机器人。医生可以佩戴HoloLens 2,在混合现实环境中远程控制治疗过程(图6b)。图6C描述了医生和病人之间的协作会话,其中机器人可以在混合现实环境中使用所提出的框架进行远程控制和监控。

该系统为用户提供了全面的跨平台康复体验。临床医生可以通过共享的基于混合现实的协作会话远程协助患者进行主动和被动康复治疗。为患者在本地存在的康复机器人在Azure云平台上有一个数字双胞胎。治疗师或临床医生可以与这个虚拟数字双胞胎互动,并使用它来辅助康复治疗。图7展示了一个混合现实界面,可以可视化每个关节的扭矩和温度等机器人数据,以及力传感器数据。通过这种方式,治疗师可以可视化评估患者改善的关键指标,如活动范围和阻力。他们可以利用这些数据为病人推荐最佳的康复计划。协作会话中的用户可以调用实时数据和历史数据的数据可视化。

图6。所提出的协作机器人框架的实验设置:(a) xArm-5机器人作为协作机器人;(b)佩戴HoloLens 2耳机的用户;以及(c)通过基于混合现实的框架(多媒体附件2).
查看此图
图7。可视化交互式混合现实环境中的关键指标。
查看此图

协作机器人框架在工业和远程医疗中有许多潜在的应用,如远程操作和远程康复。特别是像COVID-19这样的大流行疫情已经影响到医疗保健的各个方面,使远程医疗的需求得以实现,它可以帮助医护人员和患者保护自己免受疾病传播的风险。远程医疗还可以提供个性化的康复方案、实时控制、与医生的持续互动、可以忽略的等待时间等等。使用所提出的框架,可以方便地实现不同的远程操作系统。虽然提出的基于混合现实的框架承诺为协作机器人提供稳定的控制系统,但它也有一些局限性[47-49].要使用框架,应该有一个连续稳定的连接。如果连接丢失,系统将变得不稳定且不可操作。个人健康数据的安全也是一个问题。此外,与其他常规康复相比,该系统价格昂贵,因为这需要全息设备和协作机器人[50].值得一提的是,像HoloLens 2这样的全息设备不应该长时间佩戴。HoloLens可能的副作用包括头痛、头晕或失去平衡[5051].重要的是要负责任地使用这些工具,以便从它们提供的服务中获得最大收益。为了完善框架,未来将重点加强稳定的沟通、个性化的康复方案、专家的实时控制和监测。

结论

协作机器人及其应用在康复和遥操作领域有着巨大的影响。为了满足协作机器人的需求,迫切需要一个协作机器人的框架。提出的基于混合现实的协作机器人框架可用于不同的远程医疗应用,如远程操作和远程康复,并可指导其他研究人员进行进一步的研究,以促进人类的进步。开发框架时使用了几种最先进的技术,包括Unity、WMR平台、Azure混合现实服务和HoloLens 2。通过在混合现实环境中使用5自由度协作机器人(xArm-5)进行全面的协作实验,验证了该框架。未来,该研究将继续研究基于混合现实的协作机器人应用。将对远程康复和远程操作进行进一步研究,为进一步发展设计一个更强大和稳定的框架。

致谢

本研究由威斯康星大学密尔沃基分校连接系统研究所(Grant AAH9481)部分资助。

利益冲突

没有宣布。

多媒体附件1

单独的齐次传递矩阵。

DOCX文件,14kb

多媒体附件2

基于混合现实框架的协同会话实验。

MOV文件,73149 KB

  1. 机器人在我们日常生活中的应用。乔纳斯·穆托尼,2021年6月16日。URL:https://jonasmuthoni.com/blog/use-of-robotics-in-daily-lives/[2022-01-02]访问
  2. 机器人的好处。RobotWorx。2021.URL:https://www.robots.com/articles/benefits-of-robots[2022-01-02]访问
  3. 为什么Cobots ?万能机器人,2021年。URL:https://www.universal-robots.com/products/collaborative-robots-cobots-benefits[2022-01-02]访问
  4. Khasis D.人类和机器人如何合作更好地管理仓库。RIS新闻,2019年。URL:https://risnews.com/how-humans-and-robots-can-work-together-better-warehouse-management[2022-01-02]访问
  5. 人机协作:3个案例研究。Wevolver》2020。URL:https://www.wevolver.com/article/humanrobot.collaboration.3.case.studies[2022-01-02]访问
  6. Grand View Research 2019。URL:https://www.grandviewresearch.com/industry-analysis/collaborative-robots-market[2022-01-02]访问
  7. Schou C, Madsen O.工业协作机器人的插拔生产框架。国际先进机器人系统杂志2017年7月17日;14(4):172988141771747。[CrossRef
  8. 王晓明,王晓明,王晓明,王晓明。基于改进函数逼近技术(MFAT)的人体上肢外骨骼机器人自适应控制。机器人与自主系统2019年7月;117:92-102。[CrossRef
  9. Brahmi B, Saad M, Brahmi A, Luna CO, Rahman MH.基于人体逆运动学的可穿戴外骨骼机器人柔性控制。国际先进机器人系统杂志2018年11月22日;15(6):172988141881213。[CrossRef
  10. 马立军,马立军。复杂形状表面精细打磨的人机协作框架。IEEE机器人。奥特曼。通讯2020年4月5日(2):2848-2855。[CrossRef
  11. 金伟,王晓明,王晓明,王晓明。基于人机协作的电动工具灵巧操作人机工效学研究。机器人与计算机集成制造2021年4月;68:102084。[CrossRef
  12. 什么是混合现实?微软,2022年4月28日URL:https://docs.microsoft.com/en-us/windows/mixed-reality/discover/mixed-reality[2022-01-02]访问
  13. 混合现实在现实世界中的重要性。区域。2020.URL:https://thearea.org/ar-news/importance-of-mixed-reality-in-real-world/[2022-01-02]访问
  14. 曾峰,肖杰,刘辉。基于六自由度协同机器人装配任务的无力/力矩传感器柔性控制策略。IEEE Access 2019;7:108795-108805。[CrossRef
  15. Grigore LS, Priescu I, Joita D, Oncioiu I.协作机器人系统的集成及其环境影响。进程2020年4月23日;8(4):494。[CrossRef
  16. 孙晓明,李志强,李志强,等。基于自动生成路径的协同机器人在线避碰方法研究。机器人与自主系统2019年9月;119:278-288。[CrossRef
  17. Kiguchi K, Rahman MH, Sasaki M, Teramoto K.用于人体上肢运动辅助的三维移动外骨骼机器人的开发。机器人与自主系统2008年8月;56(8):678-691。[CrossRef
  18. Rahman MH, kitel - ouimet T, Saad M, Kenné J, Archambault PS.机器人肩、肘和前臂运动辅助的开发与控制。应用仿生与生物力学2012;9(3):275-292。[CrossRef
  19. 阿萨德-乌兹-扎曼M,伊斯兰M,拉赫曼M,王勇,麦戈尼格尔E. Kinect控制的远程康复机器人。智能系统学报2020年7月28日;30(1):224-239。[CrossRef
  20. Brahmi B, Ahmed T, Bojairami IE, Swapnil AAZ, assad - uzz - zaman M, Schultz K,等。基于平面度的新型智能外骨骼机器人控制。IEEE / ASME反式。机电一体化2022年4月27日(2):974-984。[CrossRef
  21. 罗茜·DP,田海杰,李敏,斯里尼瓦桑,曼德利卡,葛格,等。学习控制辅助机器人的潜在动作。Auton Robots 2022 Aug 04;46(1):115-147 [免费全文] [CrossRef] [Medline
  22. Erickson Z, Gangaram V, Kapusta A, Liu C, Kemp C.辅助健身房:辅助机器人的物理模拟框架,2020年发表于:IEEE机器人与自动化国际会议(ICRA);2020年5月31日至8月31日;巴黎,法国。[CrossRef
  23. Sunny MSH, De Caro JS, Rulik I, Zarif MII, Rahman M, Wang I,等。运动功能障碍患者的鼻跟踪机器人控制。物理医学与康复档案2021年10月;102(10):e82-e83。[CrossRef
  24. Sunny MSH, Zarif MII, Rulik I, Sanjuan J, Rahman MH, Ahamed SI,等。一种用于日常生活活动的六自由度轮椅辅助机器人的眼球控制。J Neuroeng Rehabil 2021 12月18日;18(1):173 [免费全文] [CrossRef] [Medline
  25. 沈浩,徐凯。基于人机距离的协作机器人允许最大安全速度控制。2018年发表于:IEEE普适机器人国际会议(UR);2018年6月26日至30日;檀香山,HI,美国,第401-405页。[CrossRef
  26. 金W, Balatti P,拉蒙E, Ajoudani A. MOCA-MAN:一种移动和可重构的人机联合协作机器人助手。2020年发表于:IEEE机器人与自动化国际会议(ICRA);2020年5月31日至8月31日;巴黎,法国。[CrossRef
  27. 李文杰,李文杰,李文杰,Wächter M,李文杰,等。Armar-6:用于工业环境的协作类人机器人。2018年发表于:IEEE-RAS第18届人形机器人国际会议(Humanoid);2018年11月6日至9日;中国北京,第447-454页。[CrossRef
  28. Perico DH, Homem TPD, Almeida AC, Silva IJ, Vilão CO, Ferreira VN,等。认知机器人研究的类人机器人框架。J Control automation electric Syst 2018年5月31日;29(4):470-479。[CrossRef
  29. Sandoval J, Su H, Vieyres P, Poisson G, Ferrigno G, De Momi E.七自由度拟人化机器人辅助微创手术的协作框架。机器人与自主系统2018年8月;106:95-106。[CrossRef
  30. Khalid A, Kirisci P, Khan ZH, Ghrairi Z, Thoben K, Pannek J.工业协作机器人网络物理系统安全框架。计算机工业2018年5月;97:132-145。[CrossRef
  31. Brock H, Ponce Chulani J, Merino L, Szapiro D, Gomez R.开发一个轻量级的剪刀石头布人机协作游戏框架。IEEE Access 2020;8:202958-202968。[CrossRef
  32. 王勇,王志勇。混合制造单元的协同装配:人机交互集成框架。IEEE反式。自动售货机。科学。工程学报2018年7月;15(3):1178-1192。[CrossRef
  33. 杨超,陈杰,何伟,鞠忠。基于混合现实的人机交互界面的开发。2017年发表于:IEEE机器学习与控制论国际会议(ICMLC);1;2017年7月9日至12日;中国宁波,p. 27-34。[CrossRef
  34. Cancedda L, Cannavò A, Garofalo G, Lamberti F, Montuschi P, Paravati G.基于混合现实的面向机器人遥操作的手控界面用户交互反馈。2017发表于:增强现实、虚拟现实和计算机图形学国际会议;10325;2017年6月12日至15日;乌根托,意大利,页447-463。[CrossRef
  35. 李志强,李志强,李志强。基于混合现实的交互式机器人控制。IFAC-PapersOnLine 2019; 52(13): 695 - 700。[CrossRef
  36. Siegele D, Steiner D, Giusti A, Riedl M, Matt D.通过应用混合现实优化工业机器人协作工作空间。2021发表于:增强现实,虚拟现实和计算机图形学国际会议2021;12980。施普林格可汗;2021年9月7日至10日;虚拟事件第544-559页。[CrossRef
  37. Ostanin M, Yagfarov R, Devitt D, Akhmetzyanov A, Klimchik A.基于混合现实的多机器人交互控制。国际生产研究杂志2020年11月07日;59(23):7126-7138。[CrossRef
  38. 选择你的引擎。微软。URL:https://docs.microsoft.com/en-us/windows/mixed-reality/develop/choosing-an-engine?tabs=unity[2022-01-02]访问
  39. 从微软官方下载中心下载DirectX最终用户运行时Web安装程序。微软。URL:https://www.microsoft.com/en-us/download/details.aspx?id=35[2022-01-02]访问
  40. Unity实时开发平台。团结。URL:https://unity.com/[2022-01-02]访问
  41. 配置没有MRTK的项目。2021年微软。。URL:https://docs.microsoft.com/en-us/windows/mixed-reality/develop/unity/configure-unity-project[2022-01-02]访问
  42. Azure混合现实云服务概述。微软。URL:https://docs.microsoft.com/en-us/windows/mixed-reality/develop/mixed-reality-cloud-services[2022-01-02]访问
  43. 可信云中的数据隐私。微软Azure。URL:https://azure.microsoft.com/en-us/overview/trusted-cloud/privacy/[2022-01-12]访问
  44. UFACTORY xArm 5 Lite。UFACTORY。URL:https://www.ufactory.cc/products/xarm-5-lite-2020[2022-01-02]访问
  45. 树状运动结构机器人驱动机构的改进Denavit-Hartenberg坐标系。科学技术与工程学报2014年12月3日;15(11):244。[CrossRef
  46. 什么是web套接字,它与HTTP有什么不同?GeeksforGeeks。2022年2月21日。URL:https://www.geeksforgeeks.org/what-is-web-socket-and-how-it-is-different-from-the-http/[2022-01-02]访问
  47. Van Krevelen D, Poelman R.增强现实技术,应用和限制的调查。IJVR 2010 1月1日;9(2):1-20。[CrossRef
  48. Filipenko M, Angerer A, Reif W.混合现实全息图在工业机器人中的机遇和局限性。arXiv 2020年1月22日预印本。[CrossRef
  49. 高田T,中林S,近藤H,山本M,富瑞S,白石K,等。介入放射学中卫生专业人员和患者辐射剂量的混合现实可视化。J Med Syst 2021 Feb 17;45(4):38 [免费全文] [CrossRef] [Medline
  50. 森本T,小林T,平田H,大谷K,杉本M,冢本M,等。XR(扩展现实:虚拟现实,增强现实,混合现实)技术在脊柱医学:现状和现状。中华临床医学杂志2022年1月17日;11(2):470 [免费全文] [CrossRef] [Medline
  51. 陈晓明,陈晓明,张晓明,等。如何为骨科开放手术构建特定于患者的混合模拟器:使用微软HoloLens的混合现实的好处和限制。J Healthc Eng 2018年11月01日;2018:5435097-5435012 [免费全文] [CrossRef] [Medline


DH:Denavit-Hartenberg
景深:自由度
先生:混合现实
SDK:软件开发工具包
WMR:Windows混合现实


G·艾森巴赫(G Eysenbach)编辑;提交23.01.22;MR Islam, N Silva的同行评议;对作者30.03.22的评论;订正版本收到13.04.22;接受26.04.22;发表17.05.22

版权

©Md Tanzil Shahria, Md Samiul Haque Sunny, Md Ishrak Islam Zarif, Md Mahafuzur Rahaman Khan, Preet Parag Modi, Sheikh Iqbal Ahamed, Mohammad H Rahman。最初发表在JMIR生物医学工程(http://biomsedeng.www.mybigtv.com), 17.05.2022。

这是一篇开放获取的文章,根据创作共用归属许可协议(https://creativecommons.org/licenses/by/4.0/)的条款发布,允许在任何媒介上无限制地使用、分发和复制,前提是正确引用了首次发表在JMIR生物医学工程上的原创作品。必须包括完整的书目信息,https://biomedeng.www.mybigtv.com/上的原始出版物的链接,以及此版权和许可信息。


Baidu
map