这是一篇根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)发布的开放获取文章,允许在任何媒介上不受限制地使用、分发和复制,前提是正确引用了首次发表在JMIR Human Factors上的原创作品。必须包括完整的书目信息,https://humanfactors.www.mybigtv.com上的原始出版物的链接,以及此版权和许可信息。
医生对医生远程会诊在提供最佳保健服务方面日益发挥重要作用,特别是在骨科实践中。在这项研究中,研究人员调查了用于骨科专家远程会诊的智能手机应用程序的可用性,以探索在后续迭代中提供进一步改进建议的问题。
本研究旨在探索用户与MEDIC应用程序交互时出现的可用性问题,MEDIC应用程序是一种基于智能手机的以患者为中心的医生对医生远程会诊系统。
招募了泰国曼谷一所大型医学院骨科的5名主治医生,并要求他们执行5项评估任务,即分组、患者登记、临床数据采集、病例记录表创建和远程会诊。此外,还招募了一名专家用户作为对照参与者。在执行任务时采用了大声思考。在每项任务结束后和退出前进行半结构化访谈。基于“以人为中心”的移动应用开发模型,我们使用了定量和定性措施来确定7个领域的可用性问题:有效性、效率、满意度、可学习性、可记忆性、错误和认知负荷。
有几项指标表明了应用程序可用性的各个方面,包括完成率、完成时间、点击次数、屏幕数量、错误、参与者无法执行任务的事件、之前已经完成的任务,以及感知的任务难度。基于参与者反馈的主要和关键的可用性问题源于屏幕尺寸和分辨率的限制。数据输入错误(如输入错误、计算错误)、操作失败和对数据的误解(如x射线摄影)是本研究中发现的最关键和最常见的问题。少数参与者没有完成分配的任务,主要是由于导航设计和误读/误解图标。然而,新手用户非常乐观,他们能够在短时间内熟悉这款应用程序。
在智能手机上的医生对医生远程会诊系统的可用性问题,通常是由智能手机及其操作系统的局限性引起的。虽然设计了一些建议来处理这些可用性问题,但是对于额外开发的可用性评估仍然需要进一步研究。
全面的个性化护理已成为许多国家医疗保健系统的理想模式。这种模式需要整合多个利益相关者和系统,以提供以患者为中心的服务。此外,卫生保健系统的效率,特别是在收集、存储、分析和访问患者记录和相关数据方面,现在对卫生保健服务的质量更加关键。信息和通信技术在许多方面促进了医疗保健服务,特别是在减少医疗差错、纸张消耗、物理存储空间和时间方面。例如,电子病历(EMRs)已被广泛采用,因为它们在数据存储库中发挥了重要作用,并在医疗保健提供者和患者之间的交流中发挥了参考作用。虽然电子病历涉及医疗保健提供者如何管理患者记录,但现代医疗保健系统需要医疗保健提供者之间的协作,以期提高诊断和治疗过程的质量,从而确保数据的质量,并增加医疗保健提供者之间以及医疗保健提供者与患者之间的信任[
远程会诊的定义广泛,用于解释在进行医疗保健过程和服务时至少双方之间的远程通信(例如初级保健医生与专科医生之间、医生与护士之间、住院医生与督导医生之间以及医生/护士与患者之间)[
远程会诊在骨科护理中越来越普遍[
考虑到远程医疗和协作实践在骨科护理中已被越来越多地采用,以患者为中心的远程会诊平台使专家和医疗保健提供者能够随时随地访问最新的患者记录。在需要诊断和处方的地方,卫生保健提供者可以更新患者记录并随时提供咨询。然而,开发一个移动应用程序,通常会有许多可用性挑战。例如,有限的屏幕尺寸和分辨率限制了显示大规模信息的能力。此外,屏幕大小和分辨率可能会影响数据输入的性能,特别是在输入和从列表中选择时[
哈里森等人[
采用启发式评估方法[
尼尔森(
这项研究是在临床技能与模拟中心(
MEDIC的另一个关键功能是允许医生通过数据收集表单以标准化的方式进行交流。对于患者的临床管理来说,有几种重要的量表和措施。有些是标准化的,而有些是在一个组内定制的。数据收集表单功能允许医生创建和定制一个表单,以供组中的医生使用。因此,任务4旨在调查参与者如何使用数据收集表格,要求他们创建一个表格来收集残缺肢体严重程度评分,这是骨科临床实践中最常用的量表之一。虽然前4个任务旨在观察参与者如何从发送方的角度(如医学生、住院医生、推荐人)在应用程序中创建和管理数据,但最后一个任务旨在从接收方的角度(如同行、顾问、主管、推荐人)评估应用程序的可用性。参与者被要求回顾被要求会诊的现有患者的记录。参与者被要求提供临床意见,并在咨询病例记录中输入诊断和治疗计划。在执行任务时,参与者被要求向研究人员大声说出他们的想法。使用iPhone的摄像头和屏幕记录功能记录参与者的活动。 The description of all the tasks is shown in
虽然对完成时间没有限制,但参与者可以在任务的任何时候不完成任务。任务5中使用的x光片如图所示
摄像机设置用于观察研究参与者与MEDIC应用程序的交互,同时在任务3中与模拟患者进行病史记录和检查。
在任务5中使用的x线平片图像显示左髋颈(股骨)(A)和骨盆(耻骨支)(B)骨折。
大声思考协议和半结构化访谈的数据被转录。观察笔记经录像验证。定量数据,如时间、点击次数和屏幕使用次数,记录在MS Excel中,并通过与专家用户的表现进行比较,使用描述性统计进行分析。使用定性数据分析软件NVivo version 12 (QSR International),采用演绎编码方法对笔录、观察笔记、屏幕和视频记录进行专题分析。主要编码方案采用PACMAD可用性属性[
为了探讨MEDIC的可用性问题,
很明显,某些测量被归因于不止一个可用性领域,例如,感知任务难度同时涉及学习性和认知负荷。完成指定任务所花费的时间也被用来评估学习能力和效率。对于认知负荷,虽然NASA任务负荷指数通常是推荐的[
可用性度量。
可用性属性 | 数据源 | ||
|
任务中的观察 |
Posttask采访 | 离职面谈 |
有效性 | 使用拉普拉斯方法的完成率 |
- - - - - -一个 | - - - - - - |
效率 | 完成时间 |
- - - - - - | - - - - - - |
满意度 | - - - - - - | - - - - - - | 感知应用程序对当前工作流程有效性的潜在影响 |
易学性 | 完成时间 | 感知任务难度 | - - - - - - |
难忘的人 | - - - - - - | 参与者无法执行之前已经完成的任务的事件数 | - - - - - - |
错误 | 发生错误时的事件 | - - - - - - | - - - - - - |
认知负荷 | 任务执行过程中的干扰 | 感知任务难度 | - - - - - - |
一个不可用。
MEDIC是由泰国Deverhood开发的一款智能手机远程会诊应用程序,供医生在各种情况下相互交流。由于该应用程序旨在支持以患者为中心的护理,该应用程序的主要功能包括患者的医疗数据,如病史、体检、临床图像和诊断问卷。医疗保健提供商可以从桌面和移动平台(包括iPhone操作系统和Android)访问、收集和修改数据。但本研究的测试版本是在iPhone操作系统平台上进行环境控制。所有数据都要上传到云服务器上;因此,在使用该应用程序时需要连接互联网。为了支持医生和专家之间的协作,MEDIC界面分为4个主要任务,即组建团队、创建数据表单、记录数据和检查数据。第一个任务开始于组建一个团队,如一个研究小组或一个多中心合作,通过创建一个小组和添加成员。要邀请其他成员加入群组,所有队友必须拥有MEDIC账号。群组管理员可以删除或加入群组成员。
虽然MEDIC的设计目的是收集一般的患者记录(如人口统计、诊断、病史、治疗),但该应用程序还允许医生创建数据表单来支持他们的专业,如病例记录表和功能评分。但是,持牌问卷应事先得到持牌所有者的授权。表单中可以使用10种数据输入格式:复选框、下拉列表、多项选择、线性比例、多项选择网格、自由文本、数字文本、日期-时间、图片和视频链接。表单的内容可以组织成一个节。每个问题都可以设置为必填状态,必须填写,否则无法提交表格。相关表格应分配给相关小组。数据捕获过程从患者在该组的注册开始,通过输入一般资料并使用免费文本框、表单和摄像工具收集数据。所有记录的数据都可以通过按previous history选项卡来查看,该选项卡显示了过去记录的自由文本历史、表单和图像。除了所有主要功能外,该应用程序还允许用户填写个人资料以供参考,并设置密码锁以提高数据安全性。应用程序的主要功能显示在
除了临床数据采集能力外,MEDIC还适用于医护人员之间的远程会诊。MEDIC应用程序提供有组织的信息,包括病史、实验室检查结果、临床和放射图像,患者的病情和管理按时间顺序自动排序,以便于回顾疾病进展和治疗计划。通过使用MEDIC而不是WhatsApp或Facebook messenger等社交网络,可以改善患者数据隐私保护,因为数据访问仅限于授权人员用于患者管理。
MEDIC应用程序的三个截图:病史记录(A)、图片库(B)和病历表(C)。
所有参与者都是男性,年龄在20多岁到40多岁之间。其中一名参与者在骨科住院医师培训的最后一年,而其他人是委员会认证的骨科医生。据报道,所有参与者都非常熟悉并使用智能手机多年。其中一位专家是一名骨科医生,他经常使用MEDIC应用程序,并参与了该应用程序的开发。
参与者被要求声明他们对每个给定任务的熟悉程度。如
我们还要求参与者就他们对移动平台上重载任务的熟悉程度提供反馈。所有参与者都表示,他们熟悉在智能手机上处理与工作相关的多任务。
熟悉任务(N=5)。
任务 | 中位数(范围) |
1 | 3 (1 - 7) |
2 | 6 (4 - 7) |
3. | 3 (1 - 5.5) |
4 | 6 (4 - 6.5) |
5 | 4 (1 - 7) |
以下部分报告了在基于智能手机的医生对医生远程会诊应用程序中涵盖PACMAD所有7个可用性维度的不同测量方法,即完成率、完成时间、点击次数、屏幕数量、错误、参与者无法执行任务的事件,以及感知任务难度。
如
完成率(N=5)
任务 | 完成率,n (%) | 拉普拉斯 |
1 | 4 (80) | 0.7143 |
2 | 5 (100) | 0.8571 |
3. | 5 (100) | 0.8571 |
4 | 5 (100) | 0.8571 |
5 | 4 (80) | 0.7143 |
如
给定任务使用的时间(分钟)(N=5)。
任务 | 中位数(范围) | 专家 |
1 | 6 (2 - 8) | 2 |
2 | 2 (1 - 6) | 2 |
3. | 16日到24日) | 6 |
4 | 8(6尺11寸) | 6 |
5 | 6 (4 - 8) | 3. |
我们还观察了每项任务中鼠标点击的次数,如图所示
给定任务的点击次数(N=5)。
任务 | 中位数(范围) | 专家 |
1 | 41 (15-41) | 27 |
2 | 13 (10 - 14) | 19 |
3. | 88 (17 - 133) | 27 |
4 | 92年(74 - 131) | 68 |
5 | 36 (28-45) | 18 |
在使用的屏幕方面,如图所示
给定任务访问的屏幕数量(N=5)。
任务 | 中位数(范围) | 专家 |
1 | 25 (10-40) | 17 |
2 | 6 (4 - 7) | 4 |
3. | 46 (9 - 72) | 17 |
4 | 23日(14-29) | 17 |
5 | 31日(16-38) | 12 |
在这项研究中,我们通过直接观察和用户反馈来观察错误。确定了三种类型的错误:动作失败、数据不准确和错误恢复失败。
第一类错误是动作失败。参与者无法完成某些活动。例如,在任务3中,有一个参与者将诊断信息输入错误的部分。显然,“形式”一词曾在多个节中使用,其含义因出现在哪个节而不同。因此,这种差异导致了随后的混乱和数据输入错误。另一项重大行动失败涉及导航问题。一些参与者无法导航应用程序,也无法正确定位他们希望完成任务的部分。显然,他们不理解使用的词汇和图标。此外,在任务1中,他们被要求创建一个组并将一名成员添加到组中,大多数参与者花了很多时间在应用程序中导航,将一名成员添加到创建的组中。他们中的大多数人都采用了反复试验的方法,浏览并单击所有按钮,看看这些按钮是否有用。
动作失败被发现与数据不准确有关,这是本研究发现的另一种错误类型。在任务4中,他们被要求创建并填写一份评估表格,其中3名参与者将数据输入了错误的字段,因为他们不知道如何在表格中创建和填写信息。此外,1名参与者错误地输入了患者1978年至1987年的出生年份。这一事件是由于应用程序中要求的日历年系统(公历年)和官方的地方日历系统(佛历年)之间的差异引起的。参与者必须手动添加一个额外的步骤来转换两个日历年系统之间的差异,这增加了数据不准确的风险。
另一个错误是在遇到错误后无法恢复。在一些事件中,参与者发现了某些错误,他们希望做出一些改变。然而,由于两个主要原因,他们无法找到解决方案。首先,这款应用没有针对特定任务的编辑功能。其次,参与者关于如何编辑的心理模型与app中的编辑操作不匹配。例如,参与者2在任务4中尝试创建一个收集患者数据的表单。然而,在增加了一个问题后,参与者发现他把问题的顺序弄错了。他努力想办法重新排列问题的顺序。他最终删除了整个问卷,并开始创建一个新表单。
根据测试期间的直接观察并经两名观察员验证,没有发生参与者无法执行先前已完成的任务的事件。
为了评估任务执行过程中的认知负荷,我们要求参与者在李克特7分制量表上对感知任务难度进行评分(1,完全不难;7、最难的)。基于中位数,如图所示
感知任务难度等级(N=5)。
任务 | 中位数(范围) |
1 | 3 (1 - 7) |
2 | 6 (4 - 7) |
3. | 3 (1 - 7) |
4 | 6 (4 - 5.5) |
5 | 4 (1 - 5.5) |
此外,我们要求参与者提供支持他们评级的反馈。我们分析了他们的反馈与认知负荷的关系。对于那些认为任务不那么困难的人,支持他们的看法的基本原理包括界面的清晰性,与他们的工作流的兼容性,以及任务对当前实践的熟悉程度(例如,创建一个组并添加一个组成员)。除了感知任务难度外,我们还观察了所有任务完成过程中的干扰。然而,那些认为任务困难的人反馈说,某些行动需要额外的资源(如时间、内存)。嘉宾二就将出生日期由佛历年转换为公历的困难发表意见。
嗯,为了输入出生日期,有时我需要时间来思考和填写信息。这样做需要时间。但我们真的没有太多时间照顾每个病人。
对于一些参与者来说,在小屏幕上打字是另一项高强度的任务。参与者报告说在屏幕上打字有困难。一名参与者表示,他的手指对屏幕来说太大了,导致了与键盘的错位。参与者3比较了打字和拍手写体的照片。他觉得在纸上写字和拍照比打字快。特别是在与病人见面时打字时,参与者觉得他们被需要把太多注意力集中在打字上而不是与病人的互动上而分散了注意力。为了减轻打字时的认知负荷,参与者3决定保持笔记简明扼要,例如,使用缩写和短语。值得注意的是,病历中遗漏某些信息会在回忆信息时造成认知负荷。例如,时间敏感的信息需要特定的单位。与会者2对缺乏上下文信息所造成的歧义表示失望。
对于“病人多久前做过手术?”我通常在图表中写上单位,比如月份。如果它只有一个数字,我不知道这个数字是什么意思。例如,如果我看到数字6,这意味着什么?6个月?6天吗?还是6年?我不知道....这使得和病人沟通有点困难。
另一个问题是不熟悉任务5中的表单创建过程。MEDIC允许医生创建定制的表单来收集某些信息,以供进一步评估。对于那些以前从未创建过表单的人来说,他们对应用程序中使用的术语感到困惑,例如,部分,问题,下拉菜单和复选框。他们花了大量的时间试图弄清楚如何创建一个表单。
另一个被一些人认为困难的任务是任务4中的表单创建。许多参与者不熟悉词汇和表单创建过程。例如,该应用程序允许用户将问卷分成多个部分。然而,分配的量表,四肢损伤严重程度评分,包含4个问题,不需要子部分。一些参与者对表单创建功能中的术语“section”感到困惑。他们花了一些时间来理解术语部分和问题之间的区别。这可能部分是因为所分配量表的项目不是以问题陈述的形式呈现,而是以标题形式呈现(例如,骨骼/软组织损伤、肢体缺血、休克、年龄),这可以与节标题而不是问题相结合。
在捕捉病人记录时,相机是一个有用的功能。MEDIC还提供了应用程序内的相机功能,以便用户可以嵌入与患者记录相关的照片。内置摄像头可以节省时间和认知负荷。然而,在任务3的测试中,一名参与者使用了移动摄像头而不是应用程序内置摄像头。虽然参与者能够完成任务分配,但他花了额外的时间和精力来完全定位照片并将它们上传到应用程序中。
为了评估用户对应用程序的满意度,我们询问了所有参与者对使用应用程序对当前工作流程的潜在影响的看法。所有参与者都倾向于对在实践中使用该应用程序的影响持积极态度。他们认为这可能会提高当前工作流程的效率。与使用即时通讯应用程序相比,医生们更喜欢用这款应用程序就患者的预后和治疗计划进行沟通。
...我think it is convenient to use for consultation across departments, especially for cases that need long-term care and continual discussions. It seemed impractical to use [an instant messenger app]. The problem is the chat room contains discussion and records of multiple cases. So, we have to find relevant information from a very long conversation. It is much better to get a whole patient record at once.
然而,一些参与者(n=3)指出,熟悉应用程序将是影响工作流程效率的最重要条件。此外,应用程序的性能也是几个参与者提出的另一个因素。
...Firstly, I think it’s about familiarity with the tool. If you don’t use it every day, you won’t get used to it. Secondly, it depends on the app itself. The issues related to the app, for example, misalignment of the interface and delayed or frozen app, forced me to quit and/or restart it. Anyway, the point is that if you aren’t familiar with it, it will always be difficult to use.
本研究旨在通过使用混合方法来发现与基于智能手机的医生对医生远程会诊系统(MEDIC)相关的可用性问题。从总结评估的角度来看,作为一个应用程序,MEDIC似乎很有希望令人满意,它为医疗保健提供者之间的有效沟通提供了机会,改善了隐私保护,并增加了在诊所之外以及长期护理环境中对患者记录的可访问性。此外,MEDIC被设计为一个以患者为中心的平台,其中为每个患者组织了所有相关的记录和文档。参与者一般比较了MEDIC与他们目前在记录患者记录和咨询其他医疗保健提供者(即纸质图表、EMR系统和即时通讯工具)方面的做法。在一个频道里讨论多个问题和案例时,使用即时通讯工具可能会令人沮丧。一位参与者报告说,他通常在纸上写病人记录,然后用自己的智能手机给纸拍照。虽然可以方便地捕获数据,但由于捕获过程,记录照片的质量可能较差。另外,取回照片也需要一定的时间,因为这个过程很大程度上依赖于回忆和记忆。目前诊所的电子病历系统不方便携带,在服务特定需求和医疗实践方面不灵活。
参与者的表现(即使用屏幕的数量,点击的数量,使用的时间)与专家的表现相关的结果可以被认为是可以接受的,因为他们中的大多数人以前从未使用过该应用程序。对于记忆,结果产生了积极的观点,因为没有参与者忘记他们在测试中之前完成的任何动作。然而,可用性问题在学习性、错误和认知负荷方面最为明显。定性数据有助于探索用户在解决这些问题时的心理模型。虽然这些问题是在与MEDIC的互动中出现的,但大多数反馈可以应用于基于智能手机的远程会诊系统。对于一些参与者来说,最令人沮丧的任务是根据点击次数和花费的时间以及完成任务期间和之后的评论创建一个患者评估表单(任务4)。虽然他们都熟悉所分配的量表,即Mangled Extremity Severity Score,但不熟悉电子表格和问卷开发相关词汇(例如,下拉菜单,复选框,选择选项)的参与者第一次发现很难理解界面。他们花了更长的时间来完成它,因为他们采用了试错的方法来熟悉表单创建过程。尽管如此,他们评论说,他们只需要几个小时就能熟悉这项任务。据报道,从广泛的角度来看,创建可用的数据收集表单(如测量量表、问卷)是系统设计和开发中最具挑战性的任务之一[
参与者的另一个常见错误是与智能手机的图像分辨率有限有关。电脑屏幕和手机最初都不是为医疗设备设计的。显示尺寸在多个方面影响可用性性能[
屏幕尺寸限制的另一个相关问题是对图像图标的误解和混淆,其他研究也已解决了这一问题[
除了数据呈现,智能手机屏幕的低分辨率也会导致数据输入错误[
绘图也是参加者推荐的另一种输入法。虽然MEDIC允许用户拍照,但一些参与者评论说,仅拍照可能不足以捕捉他们想要添加的所有信息。在任务3的咨询中,一位参与者提到,他希望通过在感兴趣的区域(例如疼痛部位)旁边画画或打字来注释所拍摄的图像。此外,一些金标准诊断量表需要绘图作为输入。例如,蒙特利尔认知评估使用时钟图来评估视觉构建技能[
在MEDIC应用程序上的蒙特利尔认知评估时钟绘制的原型界面。
在这项研究中,PACMAD框架被应用于指导医生对医生远程会诊应用程序的可用性评估。我们相信这是第一个在远程医疗环境中使用该框架的研究。PACMAD似乎有助于探索广泛的移动应用程序的可用性问题,符合启发式评估方法。目前还没有针对基于智能手机的远程医疗应用的特定可用性框架。虽然PACMAD是为移动应用程序的可用性量身定制的评估框架[
本研究的主要目的是探讨MEDIC的可用性问题。尽管尼尔森[
由于本研究在迭代设计过程的早期阶段调查了基于智能手机的远程咨询的可用性,因此本可用性研究的目的和方法是探索性的而不是结论性的。在应用混合方法获得所有可用性维度的全面视角时,基于PACMAD,我们发现定性数据提供了深刻的视角,帮助我们发现许多方面的可用性问题。此外,由于这项研究的目标是探索可用性问题,而且人群相当均匀,来自5名参与者的反馈足以发现所有可用性维度的可用性问题。尽管有很多机会可以改善医疗团队成员之间以及医疗专业人员与患者之间的沟通,但我们发现,本研究中基于智能手机的远程会诊平台的可用性问题主要与学习性、错误和认知负荷有关。我们发现了严重的错误问题,特别是由于屏幕尺寸和分辨率的限制。这些限制影响了医生输入和查看患者记录的方式,从而影响了诊断和治疗。虽然屏幕尺寸的限制已经在文献中讨论过,但本研究从实际和面向用户的角度提供了经验证据。在开发的任何早期阶段,仍然有许多改进的机会,特别是在可用性方面。计划采用迭代过程来开发应用程序,使其更可用,并可扩展到更广泛的用户组。
MEDIC应用程序的教程视频演示。
电子病历
移动应用程序开发中心的人员
任务、用户、表示、函数
我们要感谢Praew Pinitphol, Maleepan Phasupong和Chutimon Sookniran在数据收集和手稿准备过程中的帮助。研究经费由朱拉隆功大学Ratchadapiseksomphot捐赠基金提供。这项研究也得到了朱拉隆功大学萨新商学院社会科学行为研究和信息学的部分支持。
MEDIC由KP和CC共同成立的医疗技术公司Deverhood开发并提供资金支持。