原始论文
摘要
背景:COVID-19大流行期间,症状检查仪已被广泛使用,以减轻卫生系统的压力,并为患者提供全天候自助分诊选项。尽管研究表明,用户可能会积极看待基于网络的症状检查器,但没有研究量化了使用带有自我调度功能的电子健康记录集成的COVID-19症状检查器后的用户反馈。
摘要目的:在本文中,我们旨在了解用户体验、用户满意度和用户报告的替代方案,以使用具有自分类和自调度功能的COVID-19症状检查器。
方法:我们于2020年3月为有COVID-19症状、暴露或问题的患者推出了基于患者门户的自我分诊和自我调度工具。我们在患者完成症状检查后立即对他们进行了可选的匿名Qualtrics调查。
结果:在2021年12月16日至2022年3月28日期间,该调查共有395份独特的回复。总体而言,受访者对所有人群的满意度都很高,中位数评分为8分(满分10分),有288/395人(47.6%)给出了9分或10分(满分10分)的评分。用户满意度得分与任何人口统计学因素无关。如果没有基于web的工具,用户报告的最常见替代方法是拨打COVID-19电话热线,并向他们的医生发送患者门户消息以寻求建议。在线安排测试的能力是受访者最重要的症状检查功能。最常见的用户反馈类别是关于其他COVID-19服务(如电话热线)、政策或程序,以及要求附加特性或功能。
结论:这一分析表明,具有自我分类和自我调度功能的COVID-19症状检查器可能具有较高的总体用户满意度,无论用户人口统计数据如何。通过允许用户自我分类和自我安排检查和访问,这样的工具可以防止不必要的电话和信息给临床医生。个人反馈表明,这类工具的用户体验高度依赖于组织的COVID-19检测和护理业务流程。本研究为COVID-19症状检查的实施和改进提供了思路,以确保用户的高满意度。
doi: 10.2196/40064
关键字
简介
背景
在COVID-19大流行期间,症状检查器已成为向患者按需提供分诊建议的重要工具[
- ].这些工具通过有关人口统计学、症状、暴露情况和过去病史的自我引导问题来引导患者,并建议诊断或建议处置。他们使用算法和自动化将患者与护理联系起来,而不需要临床工作人员的干预。COVID-19症状检查器有多种潜在好处。当用于分类时,它们可能会降低COVID-19传播的风险[ , ]并比其他方法(如电话热线)更快捷有效地为病人提供护理建议[ , ].当应用于日常入职检查时,可大大减少人手进行人工检查的需要[ - ].症状跳棋
症状检查被广泛认为很受患者欢迎,因为它们为患者提供全天候的健康信息、风险评估,在某些情况下,还可以进行检查和预约安排。一些研究报告称,用户对COVID-19症状检查器的满意度中等高。一项对296名以医护人员为主的患者进行的研究显示,56%的患者认为他们所在机构的内部网络症状检查工具很有用[
].针对COVID-19以外病症的症状检查也报告了积极的用户体验,其中一项研究报告了70%-80%的用户的高满意度[ ].在一项对22名大学生的研究中,与决定使用公开症状检查器相关的定性因素包括是否存在COVID-19症状和是否了解COVID-19症状;害怕面对面的医疗服务;意识、偏执和好奇心;技术素养;可接受性[ ].报告的症状检查器的负面特征包括怀疑准确性,提交症状的可能性有限,症状检查器的逻辑模型不清晰[ ].虽然这些研究表明用户可能会积极地看待基于网络的症状检查器,但它们不足以理解有助于用户体验的患者和工具特征。此外,没有研究量化了使用具有自我调度功能的集成电子健康记录(EHR)的COVID-19症状检查器后的用户反馈。与电子病历集成并提供自我调度的症状检查器可能会有更高的用户满意度,因为它们减少了患者安排必要的预约或测试所需的时间[
].随着症状检查在COVID-19和其他用例中变得越来越普遍,了解用户的看法并了解哪些功能使它们具有吸引力非常重要。这种类型的用户反馈可以为这些症状检查器和任何其他数字健康工具的产品开发和改进提供信息。此外,重要的是要了解是否存在推动用户对该工具看法的人口统计学差异,因为这些差异可能会影响健康差异。
症状检查器的使用模式
在加州大学旧金山分校(UCSF),我们于2020年3月推出了首批具有自我分类和自我调度功能的COVID-19症状检查器之一。我们设计了一个调查来收集用户使用时的反馈和体验。这是已知的第一个对具有自调度功能的ehr集成症状检查器进行用户研究的研究。我们在这个分析中的主要目的是通过人口统计特征来检查用户体验和用户满意度的模式,确定患者认为什么是症状检查器使用的替代方案,并为症状检查器的改进收集可操作的反馈。
方法
设置
UCSF健康是一个大型的学术健康系统,每年提供大约170万人次的门诊。UCSF的初级保健实践为大约90,000名受术者提供服务。截至2022年1月,约95%的成年初级保健患者注册了UCSF的ehr系系患者门户网站。
2020年3月初,加州大学旧金山分校建立了COVID-19电话热线,这成为加州大学旧金山分校所有患者和员工关于COVID-19的主要电话接收点,包括一般问题、暴露、症状评估和测试安排请求。
故障现象检查工具
UCSF COVID-19症状检查器是为有COVID-19症状或暴露于COVID-19或要求进行COVID-19检测的患者开发的基于ehr的门户自助服务选项。在回答一系列关于暴露、症状和合并症的分支逻辑问题后,患者将根据其预测的风险水平被引导到适当的处置。该工具中使用的分类算法与电话热线中使用的算法相同。UCSF使用Epic Systems的商用EHR。2020年3月初,我们使用电子病历供应商的配置工具设计、配置和部署了于2020年3月12日推出的UCSF COVID-19症状检查器[
].患者可以通过登录智能手机、平板电脑或计算机上的患者门户来访问该工具,并从热线、初级护理电话树和UCSF网站被引导到该工具。该工具有英语和西班牙语版本,这两种语言目前由我们的患者门户提供支持。UCSF所有拥有活跃患者门户账户的成年患者均可使用症状检查器[ ].如前所述,根据患者的反应,如果适当,患者可以直接通过该工具自行安排SARS-CoV-2 RNA检测、视频访问或亲自预约[
].当患者选择安排他们的测试或在线访问时,在症状检查器中打开一个安排工具,显示可用的约会并允许患者选择一个。如果没有预约,病人就被指示拨打热线电话。用户反馈调查
UCSF COVID-19症状检查器的可选匿名用户反馈调查基于Qualtrics,共包括12个问题(
).调查链接嵌入在工具的最后一个屏幕上,在那里患者可以看到他们的护理建议。调查是可选的,并且没有提醒或提示来促进调查的完成。没有完成工具的患者无法访问调查。我们设计的调查是轻量级的,易于完成。问题包括滑块式评分题、多项选择题、选择所有适用的问题和可选的开放式问题。只有第一个问题,即询问患者对该工具的总体评分,是必需的。然后,患者被要求评估他们在李克特量表上的一致性,描述他们的经历,以及如果没有工具,他们将如何寻求治疗。此外,参与者还被问及对他们来说最重要的功能,并能够对遇到的任何技术困难进行评论。受访者被问及可选的人口统计学问题,包括年龄、性别、种族和种族。
研究人群
在这项分析中,我们包括了从2021年12月16日到2022年3月28日对Qualtrics反馈调查做出回应的所有成年人。对omicron激增峰值(2021年12月16日至2022年1月28日)及其对患者满意度和体验的影响进行了子分析。我们将峰值定义为该工具平均每天超过200个独立用户的时期。
伦理批准
本研究已获得UCSF机构审查委员会(20-30903)的批准。
评价与统计分析
数据从Qualtrics调查中导出,并使用R 3.5.1 (R Foundation)进行分析。参与者在回应时的经度和纬度(基于使用受访者IP地址的Qualtrics估计)与各自的人口普查街区和区域剥夺指数相匹配,国家百分位数作为社会经济地位的代理[
].描述性统计被用来分析用户的反应。基于响应的用户队列差异使用分类变量的双尾卡方检验和双样本双尾检验进行分析t测试连续变量。可视化是使用ggplot2图书馆。对用户总体评分和调查的人口统计问题进行了多元线性回归分析。为了多元分析的目的,被调查者的种族被分层为非西班牙裔和西班牙裔,种族被分层为白人和非白人。为了评估协变量的共线性,变量膨胀因子计算的截止值<10。此外,P<。05被认为是显著的。一名熟悉COVID-19门诊护理结构的医生审稿人将建设性开放式回答分为10类中的1类。我们没有对那些纯粹是互补的或没有提供具体反馈的回答进行分类。
结果
调查回应数据
从2021年12月16日至2022年3月28日,体验调查共收到395份回复(
).在此期间,使用症状检查器29384次,响应率为1.6%。中位1-10评级为8 (IQR 3-10)。总共有182名用户(46.1%)将他们的整体体验评为9或10分。当被问及症状检查器如何影响整体护理体验时,约一半用户(n=178, 53.6%)回答说,COVID-19检测和护理工具“改善了我的护理体验”,91名用户(27.4%)回答说,该工具“对我的护理体验没有影响”,63名用户(19.0%)表示,该工具“恶化了我的护理体验”( ).大多数用户强烈同意(162/332,48.8%)或同意(44/332,13.3%)该工具“帮助他们获得所需的护理”,而23.1%(77/332)强烈反对。当被问及该工具最重要的功能时,超过一半的用户(n= 254,64.3%)提到了在线安排COVID-19检测的功能。第二大最受欢迎的特征是,如果他们有COVID-19症状或接触过COVID-19,则可以全天候获得分诊建议(n=129, 32.6%;
).大多数受访者(253/331,76.4%)表示在使用该工具时没有技术困难。最常见的技术困难报告是访问或测试安排问题。当被问及可用性时,52.4%(174/332)的用户强烈同意“这个工具很容易使用”的说法,而10.2%(34/332)的受访者强烈反对。大多数受访者(208/332,62.7%)强烈认同“问题简单明了”的说法,而7.2%(24/332)强烈反对。Omicron浪涌亚分析
从2021年12月16日到2022年1月28日,在omicron激增期间,共有288份回复。在此期间,1-10分的中位数为8分(IQR 4-10分),139名(48.2%)用户给该工具的评分为9分或10分。在欧米克隆激增期间,与欧米克隆激增之前或之后相比,总体反应评分没有差异(P= .86)。
人口统计资料
调查对象的患者人口统计数据总结在
.用户报告的护理体验(“改善”、“没有影响”或“恶化了我的护理体验”)在年龄、种族、民族、性别或社会经济地位( ).多元线性回归分析同样发现,用户评分与受访者人口统计学和使用时间框架之间没有显著相关性。在欧微米峰期间的亚分析发现了类似的结果。变量 | 价值 | |
平均评分,中位数(IQR) | 8 (3 - 10) | |
年龄(年)n (%) | ||
18-39 | 45 (11.4) | |
40岁至59岁 | 123 (31.1) | |
> 60 | 158 (40) | |
种族,n (%) | ||
白色 | 222 (56.2) | |
黑人或非裔美国人 | 11 (2.8) | |
亚洲人,夏威夷原住民或其他太平洋岛民 | 51 (12.9) | |
美国印第安人或阿拉斯加原住民 | 5 (1.3) | |
其他的还是宁愿不回答 | 37 (9.4) | |
种族,n (%) | ||
拉美裔 | 33 (8.4) | |
非西班牙裔 | 227 (57.5) | |
宁愿不回答还是未知 | 49 (12.4) | |
性别,n (%) | ||
男性 | 94 (23.8) | |
女 | 221 (55.9) | |
宁愿不回答 | 9 (2.3) | |
时间范围,n (%) | ||
ο | 288 (72.9) | |
在欧米克隆之前或之后 | 107 (27.1) | |
面积剥夺指数全国百分位数 | 3 (2 - 9) |
变量 | 估计 | 95%可信区间 | P价值 | ||
年龄(vs 18-39岁) | |||||
40岁至59岁 | -0.65 | -2.02, 0.72 | .35点 | ||
> 60 | 0.13 | -1.25, 1.52 | .85 | ||
男性(对女性) | 0.08 | -0.91, 1.08 | .87点 | ||
非白色(vs白色) | 0.79 | -0.23, 1.82 | 13。 | ||
非西班牙裔(vs西班牙裔) | -0.15 | -1.58, 1.28 | 点 | ||
面积剥夺指数 | -0.02 | -0.04, 0.00 | .09点 |
护理的替代方案
当被问及如果没有网络工具他们会怎么做时,受访者给出了各种各样的答案(
).最常见的反应是拨打COVID-19电话热线(n=134, 33.9%),其次是向医生发送患者门户信息(n=104, 26.3%),并致电初级保健诊所寻求建议(n=96, 24.3%)。开放式的反馈
最常见的开放式反馈类别如下:(1)要求更改其他COVID-19服务(如电话热线)、政策或程序;(2)要求额外的工具功能;以及(3)缺乏预约时间(
).该反馈用于通知工具的更新和升级。类别 | 数 | 例子和引用 |
要求更改其他COVID-19服务(如电话热线)、政策或程序 | 24 |
|
请求附加功能 | 19 |
|
缺乏预约时间 | 12 |
|
患者传送门导航困难 | 8 |
|
请求获取更多个性化的运行状况信息 | 6 |
|
过时的信息或措辞 | 6 |
|
护理说明难以理解 | 4 |
|
技术上的困难 | 4 |
|
讨论
主要研究结果
据我们所知,这项研究是首次对具有自调度功能的ehr集成COVID-19症状检查器进行用户研究。在这项分析中,用户普遍积极地看待症状检查器,并且通常报告该工具改善了他们的护理体验。最受欢迎的功能是能够在线自行安排COVID-19检测,以及全天候获得分诊建议。对该工具的建设性或负面反馈往往反映了COVID-19护理服务的更大生态系统,特别是在需求高的时期,而与数字工具本身无关。这表明,系统需要开发强大、高质量的服务,并结合可用和有效的数字卫生工具,以帮助获得服务。
与其他研究的比较
该分析支持现有文献[
, , COVID-19症状检查程序通常受到用户的欢迎。众所周知,在获取和使用数字工具的能力方面存在差异[ - ].然而,我们观察到那些成功完成工具的人在年龄、性别、种族、民族和社会经济地位方面的总体体验没有差异。这表明,数字工具使用和满意度的差异可能主要是工具本身的获取问题,因为那些成功使用工具的人报告说,无论人口统计数据如何,他们都获得了同等程度的收益。这一发现可以扩展到其他基于患者门户的工具,如自我调度和自动处方补充服务。本研究的优点和缺点
这项调查是完全可选的,我们观察到低应答率,因此可能存在无应答偏倚的风险。不过,最近的研究显示,虽然回应率较低,但所观察到的趋势可能准确反映市民的态度[
, ].此外,我们不仅研究了数量趋势,还研究了书面反馈,并注意到在几个回复中提到了大多数主题,认为我们可能已经达到了可能的回复者或具有高数字素养的用户的饱和[ ].为了保持调查的简洁和匿名性,我们可以分析的人口统计信息有限,也没有受访者的临床信息。因此,我们无法根据临床结果、合并症或其他患者因素对结果进行分层。然而,调查的匿名性可能促进了更开放和诚实的反馈和回应。最后,因为我们在工具的末尾嵌入了调查,我们在评估工具使用的技术障碍方面受到了限制,因为那些不能使用工具的人从来没有看过调查。然而,我们选择将调查放置在工具的末尾,因为我们的主要目标是接收及时和可操作的用户反馈。我们选择不通过电话、电子邮件或邮件进行调查,因为我们担心患者会将他们的症状检查体验与他们在疾病过程中可能使用的其他数字和远程医疗工具(例如,视频访问和远程监控)混淆,也因为我们希望避免在急性疾病期间进行非临床患者通信。影响
这一分析可能对试图权衡开发或集成COVID-19症状检查器或类似工具的好处与潜在成本的卫生系统有用。除了其他已确定的好处外,患者的高满意度可能使投资于COVID-19症状检查仪变得值得。其次,这一工具可能有助于防止一线工作人员和医生倦怠[
]通过减少呼叫量和患者门户消息。自2020年3月推出以来,该工具已被使用超过8万次。根据回答说如果他们没有使用这个工具,他们会给他们的临床医生打电话或发信息的患者的比例,这个工具到目前为止可能已经阻止了超过20,000个电话和超过8800个患者留言。据我们所知,这是美国第一个评估患者使用症状检查器替代方案的研究。与瑞士和法国的文献一致的是,大多数用户在没有自我分类工具的情况下会联系医疗保健系统,而且这些工具的使用减少了呼叫中心的工作量[ , ].我们的结果也可以推广到聊天机器人,聊天机器人被广泛应用于医疗保健,以自动化分诊、连接患者和减轻提供者负担。我们观察到的一些定性趋势可能对卫生系统和开发人员设计和改进症状检查器和其他患者自助服务工具有用。首先,最常见的书面反馈类别与COVID-19服务、政策和程序以及卫生系统的预约可用性有关,而不是该工具的内在方面。因此,卫生系统必须首先优化其业务工作流程,并在实施此类工具之前或与此同时适当调整其检测和访问能力。其次,用户经常要求的软件功能超出了我们所使用的平台的当前能力。因此,这些工具的开发人员必须权衡具有用户友好功能(例如,访问可用性透明度)的更灵活工具的好处与开发和集成到电子病历中的成本。第三,用户很少报告技术挑战,这表明简单的患者门户嵌入式工具的可用性。第四,症状检查器最受欢迎的功能是能够在线自我安排COVID-19检测,这表明与没有这些功能的患者相比,能够提供自我安排检测、筛查检查或成像的ehr集成工具可能会被患者认为更积极。最后,我们回顾持续用户反馈的经验强化了这样一个概念:将简单的用户反馈调查嵌入到数字工具中是促进迭代开发的有效方法。
结论
COVID-19症状检查仪在COVID-19大流行期间有效帮助卫生系统处理了大量分诊和调度请求。我们报告了高用户满意度和用户体验的人口统计群体。此外,患者报告的使用该工具的替代方案表明,它可能节省了数千个电话和患者信息。COVID-19症状检查器很可能在不久的将来继续在各种不同的环境中使用,对使用特征的检查为改善患者体验提供了见解。
致谢
作者表彰了Chris Miller和Aimee Williams的贡献,他们在建立和启动COVID-19症状检查器方面发挥了重要作用,Michael Helle领导了COVID-19热线的创建。作者还感谢来自加州大学旧金山分校临床创新中心、临床系统、数字健康创新中心和人口健康办公室的许多人,他们帮助设计和实现了COVID-19分类算法、热线工作流程和症状检查器。
世行得到了卫生保健研究和质量机构(K12HS026383)和国家先进转化科学中心(KL2TR001870)的支持。内容仅为作者的责任,并不代表数字健康创新中心或美国国立卫生研究院的官方观点。
利益冲突
荷兰银行获得了来自礼来、辉瑞、皇家飞利浦、联邦基金和思科的研究资助;曾担任罗氏(Roche)、赛诺菲(Sanofi)、美敦力(Medtronic)、礼来(Eli Lilly)、Steady Health和Intuity Medical的顾问并收取咨询费;是Tidepool的医疗顾问(他没有得到任何报酬);并获得了TCOYD, Medscape/WebMD和AcademyHealth的作者和演讲者荣誉。RG行使了Phreesia, Inc.的股票期权。TJJ曾担任Assure Health的顾问,并获得咨询费和股权。
质量调查问题嵌入电子健康记录集成COVID-19自我调度和分诊工具。
DOCX文件,17kb参考文献
- Mansab F, Bhatti S, Goyal D.国家COVID-19“症状检查器”的表现:比较病例模拟研究。BMJ Health Care Inform 2021 3月28日(1):e100187 [免费全文] [CrossRef] [Medline]
- 温恩,M索迈,弗格斯特姆,克罗蒂BH。使用在线症状检查器与患者寻求治疗计划的关联。2019年美国医学会网络公开赛12月02日;2(12):e1918561 [免费全文] [CrossRef] [Medline]
- Miner AS, Laranjo L, Kocaballi AB.聊天机器人在抗击COVID-19大流行中的作用。NPJ数字医学2020年5月4日;3(1):65 [免费全文] [CrossRef] [Medline]
- 穆希,马丁,格鲁林,Nateqi J, Abdarahmane I, Weingartner-Ortner R,等。基于网络的COVID-19症状检查器的诊断准确性:比较研究。J Med Internet Res 2020 Oct 06;22(10):e21299 [免费全文] [CrossRef] [Medline]
- 李志强,李志强,李志强,等。症状检查仪在自我诊断和分诊中的应用:审计研究。BMJ 2015 july 08;351:h3480 [免费全文] [CrossRef] [Medline]
- 贾德森,陈志强,陈志强,等。快速设计和实施COVID-19患者自我分诊和自我调度集成工具。J Am Med Inform association 2020年6月01日;27(6):860-866 [免费全文] [CrossRef] [Medline]
- Herriman M, Meer E, Rosin R, Lee V, Volpp K.问并答:构建聊天机器人来解决与covid -19相关的问题。Nejm Catalyst 2020年6月18日1-13日。[CrossRef]
- Judson TJ, Odisho AY, Young JJ, Bigazzi O, Steuer D, Gonzales R,等。实施数字聊天机器人,在COVID-19大流行期间筛查卫生系统员工。美国医学通报协会2020年7月01日;27(9):1450-1455 [免费全文] [CrossRef] [Medline]
- 钱伯斯D, Cantrell AJ, Johnson M, Preston L, Baxter SK, Booth A,等。针对紧急健康问题的数字和在线症状检查和健康评估/分类服务:系统审查。英国医学杂志公开赛2019年8月1日;9(8):e027743 [免费全文] [CrossRef] [Medline]
- Aboueid S, Meyer SB, Wallace JR, Mahajan S, Nur T, Chaurasia a .在大学生中使用covid -19相关症状检查器:一项定性研究。BMJ Innov 2021 04;7(2):253-260 [免费全文] [CrossRef] [Medline]
- Kerr C, O' Regan S, Creagh D, Hughes G, Geary U, Colgan M,等。主要是医护人员人群中用于COVID-19门诊随访的在线症状签到工具的可接受性和症状发现。英国医学杂志公开赛2021年9月28日;11(9):e050444 [免费全文] [CrossRef] [Medline]
- Kind AJ, Buckingham WR。使社区劣势指标易于获取-社区地图集。英国医学杂志2018年6月28日;378(26):2456-2458。[CrossRef]
- Aboueid S, Meyer S, Wallace JR, Mahajan S, Chaurasia A.年轻人对使用症状检查器进行自我分类和自我诊断的看法:定性研究。JMIR公共卫生监测2021年1月06日;7(1):e22637 [免费全文] [CrossRef] [Medline]
- Nouri SS, Avila-Garcia P, Cemballi AG, Sarkar U, Aguilera A, Lyles CR.在多样化的安全网络人群中评估手机数字素养和以用户为中心的设计:混合方法研究。JMIR Mhealth Uhealth 2019 8月29日;7(8):e14250 [免费全文] [CrossRef] [Medline]
- 李维,杨克,马志强。美国老年人的健康素养和数字鸿沟。2015年3月30日(3):284-289 [免费全文] [CrossRef] [Medline]
- Cresci MK, Yarandi HN, Morrell RW。数字鸿沟和城市老年人。中国计算机科学,2010;28(2):88-94。[CrossRef] [Medline]
- 李S,布朗ER,格兰特D,贝林TR,布里克JM。在使用社区特征的健康调查中探索无反应偏差。美国公共卫生杂志2009年10月;99(10):1811-1817。[CrossRef] [Medline]
- 郑志强,陈志强,陈志强,等。回应率、非回应偏差和数据质量:来自全国高级医疗保健领导者调查的结果。舆情季刊2015;79(1):130-144。[CrossRef]
- 孙文杰,李志强,李志强,等。定性研究中的饱和:探讨其概念化和操作化。Qual Quant 2018;52(4):1893-1907 [免费全文] [CrossRef] [Medline]
- 张晓东,杨晓东,杨晓东,张晓东,等。医生的健康状况与电子健康记录中算法生成的收文筐信息有关。卫生Aff (Millwood) 2019 7月;38(7):1073-1078。[CrossRef] [Medline]
- 高密切,李志强,李志强,陈志强,Bénézit F,李志强,等。对疑似COVID-19实施自我分类web应用程序及其对紧急呼叫中心的影响:观察性研究J Med Internet Res 2020年11月23日;22(11):e22924 [免费全文] [CrossRef] [Medline]
- Hautz WE, Exadaktylos A, Sauter TC。COVID-19疫情期间的在线正向分诊。急诊医学杂志2021 Mar;38(2):106-108 [免费全文] [CrossRef] [Medline]
缩写
电子健康档案:电子健康记录 |
加州大学旧金山分校:加州大学旧金山分校 |
编辑:A Kushniruk;提交03.06.22;S Aboueid, D Chrimes同行评审;对作者18.07.22的评论;订正版本收到20.07.22;接受06.08.22;发表13.09.22
版权©Andrew W Liu, Anobel Y Odisho, William Brown III, Ralph Gonzales, Aaron B Neinstein, Timothy J Judson。最初发表于JMIR Human Factors (https://humanfactors.www.mybigtv.com), 13.09.2022。
这是一篇根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)发布的开放获取文章,允许在任何媒介上不受限制地使用、分发和复制,前提是正确引用了首次发表在JMIR Human Factors上的原创作品。必须包括完整的书目信息,https://humanfactors.www.mybigtv.com上的原始出版物的链接,以及此版权和许可信息。