在肿瘤环境中管理关键患者报告的结果测量:系统开发和回顾性研究

简介

背景

作为常规临床护理的一部分，患者报告的结果(PROs)越来越多地被收集，以捕捉患者自我报告的症状、功能和生活质量。他们支持促进临床-患者沟通，相互理解患者偏好，并实现对治疗决策产生影响的共同决策的目标[1-7］．PRO数据收集对于肿瘤患者群体，尤其是临床试验患者尤为重要，因为迫切需要跟踪与癌症治疗相关的症状性不良事件，这对患者的临床结果和生活质量有重大影响[5，8-14］．此外，专业人员还依赖于管理医疗保健使用[4，8，11］．只有患者准确及时地完成调查，PRO数据才有价值。有限的调查完成率降低了从极少填写的数据中得出临床结论的能力[15］．研究表明，通过对患者进行教育或外展，临床医生参与管理PRO项目的过程，对患者参与有直接的积极影响[16-18］．提供者在审查数据过程中不参与可能会抑制患者完成其PRO评估的积极性[19］．因此，对于临床医生来说，以精简和及时的方式跟进患者报告的任何重要结果是至关重要的。

与许多其他临床应用一样，人们有兴趣在临床工作流程中集成PROs;然而，证据显示成功有限[14，20.-24］．病人产生的健康数据的来源，如PROs，对于护理实践的标准来说是相对较新的，并且并不总是有一个标准的机制，让临床医生用不同的实施策略适当地处理PROs [9］．与此同时，如果存在工作流程障碍妨碍沟通，如审查过多的PRO反应，将患者的所有反应通知临床医生并不总是能及时与患者进行随访[25-27］．

警报的概念在医疗保健中并不新鲜，长期以来一直应用于药物-药物相互作用的临床决策支持系统[28，29]、不良事件监测[20.，30.，31]、化验结果异常[25，32-36]，以及许多其他[37］．PRO警报的思想不同于前面提到的标准临床警报，因为它涉及患者和护理团队成员之间的异步中断和非中断通信，以及系统内护理团队成员之间的协调。一些研究提到了在PROs的背景下使用基于警报的功能;然而，他们都没有讨论与患者的沟通方面，分析对工作量的影响，并描述了这种警报系统的详细设计[8，9，38-40］．

鉴于远程监测方案越来越受欢迎，包括在2019冠状病毒病大流行期间使用PRO数据，已经有几项关于项目评估的热情研究，预计在2019冠状病毒病大流行后的年份，远程监测方案的采用将增加[41-44］．远程监控程序本身就很新颖;因此，作为本研究的一部分，考虑工作管理系统的设计方面以及时处理关键结果是很重要的。此外，了解从临床访问异步运行此类计划的影响是至关重要的，以分配适当的资源来响应标准工作人员工作时间以外的患者特定需求，这对计划监测和管理具有影响。

目标

迄今为止，在肿瘤学标准护理实践中，人们普遍对使用PROs进行远程症状管理感兴趣，但对严重患者症状反应的管理以及临床工作人员参与患者反应的审查以适当地解决这些反应的情况知之甚少。鉴于在标准肿瘤实践中越来越多地采用PRO，我们认为有必要设计一个强大的PRO警报管理和通信系统，该系统可以随着临床患者数量的增加和患者对异步通信的需求而扩展。考虑到潜在的诊所中断，量化这样一个新系统对诊所工作量的影响是很重要的。在本研究中，我们设计并实现了与电子健康记录(EHR)分离的警报和通信系统，但与关键结果紧密集成。不知道这样一个系统需要什么特点，也不知道工作人员采用和参与这样一个系统是否会成功。本文中提出的发现为任何考虑实现处理所报告的关键PROs的机制的组织提供了架构设计的见解和详细的特性列表。

在本文中，我们介绍了基于pro的报警和通信系统设计的结果，总结了关键的定量结果，并反思了更广泛地采用该技术的影响。据我们所知，这是第一篇关于设计、实现和使用闭环警报管理和通信系统的论文，专门用于管理癌症护理中的PRO数据。

方法

伦理批准

该回顾性队列研究由纪念斯隆·凯特琳癌症中心(MSK)机构审查委员会批准(批准号19-090)，于2016年9月至2021年1月期间进行。

设置

这项研究是在纽约市及其附近的一个高容量的国家综合癌症网络中进行的，涵盖所有护理场所，包括门诊诊所、住院服务、门诊手术中心、住院手术和紧急护理。通过由跨学科临床、行政和技术团队组成的单独管理的PRO项目，PRO数据收集和警报系统作为多个癌症患者队列的护理标准实施。值得注意的是，几乎所有来MSK就诊的患者都接受了新型COVID-19筛查问卷和COVID-19症状问卷。参加这些项目的患者将具有与那些更倾向于接受癌症治疗的患者相似的特征。所有报告的数值结果都是针对整个研究期间，即2016年9月至2021年1月。患者的中位年龄为61岁，在本研究的所有患者队列中，总体器械依从性为36.89%(447,562/1,213,271)。

系统概述

从2016年9月至2017年8月，我们启动了一项试点，在我们的PRO应用Engage中逐步添加警报功能，并推出了恢复跟踪器，这是一项基于PRO不良事件通用术语标准的电子术后症状调查[45在门诊手术后的10天内。调查由患者在家通过患者门户账户(通过网页浏览器或我们的移动应用程序)完成。Engage虽然不是本研究的重点，但却是本研究中讨论的警报通知和通信系统的基础骨干。我们在Engage中总共推出了86种PRO调查工具，包括摄入表等标准护理表、筛查问卷、短期症状评估、长期随访问卷和研究性问卷。Engage是作为一款独立应用开发的;它与MyMSK (MSK患者门户网站内部开发)、患者-临床医生安全消息系统和EHR系统紧密集成[7，46］．Engage被描述为图1由4个关键子系统组成(调查配置和部署、警报通知系统、患者和临床医生用户界面以及安全消息系统)。Engage与上游数据库进一步集成，以支持队列识别和调度。它还与现有临床医生和支持人员工作流程中的下游临床信息和文件系统集成，以支持临床图表和升级工作流程。除了技术方面，该系统还包括一个治理委员会，即eForms委员会，负责监督关键的设计和程序决策。本研究的重点是演示警报通知系统的设计、开发和实现及其与上游(即调查库、目标队列和复杂调度)和下游系统(即EHR)的集成背后的过程。Engage(我们的PRO系统)的设计超出了本研究的范围。

‎ 查看此图

系统治理

为了推动警报通知系统的决策和正式治理，我们利用了电子表格委员会(eForms committee)，该委员会每月召开一次会议。该委员会成立于2016年我们的PRO计划启动时，旨在监督PRO仪器的开发，评估患者负担，讨论对临床医生工作流程的影响，审查监管和法律影响，并批准临床用户组要求的功能的重大更改。它是一个多学科委员会，由卫生信息专家、应用程序开发团队成员、患者参与专家、临床医生、研究人员、生物统计学家、卫生信息管理人员和医院管理人员组成。除“电子表格委员会”外，各调查工具亦成立了专责小组，更经常开会讨论“参与”系统的管理及推行事宜，并就系统设计建议提供意见。专家工作组还开会决定设定初始警报标准，并根据需要调整阈值。

警报通知系统设计步骤

我们试图设计和实现一个健壮而敏捷的基于pro的危急结果警报系统，当肿瘤护理环境中实时发生有临床意义的患者反应时，该系统可以通知患者和整个护理团队。设计的目标之一是提供在患者和护理团队之间就异常结果进行安全的非结构化沟通的能力，并在相同的工作流程中解决问题。本研究的第二个目标是描述警报量、响应时间和分类模式，以了解对所有癌症患者广泛实施PROs系统的规模和可行性的影响。除了系统设计和实现之外，我们还基于可伸缩敏捷框架创建了围绕系统增强和内容修订的反馈和治理结构。反馈是通过与所有项目涉众(包括最终用户、项目经理、临床医生和系统开发人员)的一系列定期会议收集的。

由于缺乏与危急值相关的PRO管理的现有方法(例如，手术事件后几天报告的非常严重的症状)，我们通过回顾文献，参考了基于异常实验室或放射发现的危急结果沟通模型，以确定我们基于PRO的警报通知系统的初始理想系统组件和特征。我们对PubMed中现有的临床决策支持干预进行了文献综述，以确定实现临床警报生成和管理所必需的关键系统组件。样本搜索词包括“严重警报管理”、“临床警报通知”、“严重结果通知”和“异常结果管理”。我们确定了警报通知系统中启用的5个关键功能:警报规则配置、警报消息传递、确认、分类和用于EHR文档的警报导出。在试点期间启用警报组件后，其他7个基于pro的项目也采用了这些组件，详见多媒体附件1．

总体而言，8份问卷配置了警报功能，针对更急性的症状评估，在目标队列中，最近的临床事件作为触发因素。在这些情况下，MSK的最佳实践期望是在临床事件发生后2个工作日内回电，并辅以自动症状评估。这些队列中的患者被定义为最近接受过手术、放射治疗、化疗或COVID-19诊断的患者。

图2显示护理团队成员遵循的警报管理工作流。警报被定义为由于患者提交的调查而发送给护理团队成员的通知。患者可以在调查中报告多个警报事件，这些事件被设计为重复几天(例如，在10天的调查中连续10个事件;每次调查都可能导致警报)。此外，我们实现了面向患者的警报通知，即当患者的反应通过屏幕上的弹出窗口触发有关症状时，会通知患者。该通知建议，如果患者担心症状恶化，请致电医生办公室。与此同时，这触发了一条警报消息被发送到他们的医生的收件箱。在查看消息后，护理团队成员可以选择直接打电话给患者，以跟踪任何有关症状或回复消息。然后，他们还可以选择将消息标记为更高级的护理团队成员的升级指示器。与接受肿瘤治疗的患者的标准护士电话包括有关治疗后随访的问题(例如，症状评估和可能令人担忧或需要详细说明的PRO反应的澄清)。 Nursing teams also handled triage of any patient concerns as they arose during phone call conversations, including providing patient education materials, facilitating referrals for prescription refills, and referring patients to urgent care facilities or specialty treatment referrals. The decision to call the patient was based on the guidance established by each clinic and the clinical judgment of the care team members. Finally, users have the option to send the message to the EHR to further document it in a clinical note by clicking the “ClinDoc” button.

‎ 查看此图

应用个体、任务和技术框架之间的匹配

在2016年9月至2017年8月的试点期间，我们参加了由一线工作人员(包括医生、护士和高级从业人员)组成的每两周一次的PRO工作组会议;办公室工作人员;和行政人员就护理团队成员审查关键的PRO结果和与患者沟通所需的系统功能征求意见。我们将这些特征映射到个人、任务和技术(FITT)框架中。我们选择FITT框架是因为它考虑了成功的系统采用的社会技术方面，使我们能够理解用户、技术和任务的属性，从而导致成功的采用。它还允许我们考虑所有3种属性类型的交互，以设想一个更全面的解决方案。我们在整个实施期间继续使用该框架，以阐明有关工具、任务和执行任务的人员的其他重要特性，这些特性对于专门为PROs确定的关键结果通知框架的每个组件都很重要[47］．此外，我们还讨论了症状警报管理和临床决策过程的工作流方面。通过这些会议，我们阐明了设计以pro为中心的警报管理系统的关键人员和任务属性。我们向由信息学家、系统开发人员和产品经理组成的双周信息学工作组展示了这个模型，在那里我们讨论了这些功能的任务和工具相关属性。在每个反馈会议之后，我们将针对前一节中确定的关键系统功能的特性、成功标准和干预措施记录到FITT框架中，并将它们绘制成与工具、任务和人员相关的桶。

数据收集与分析

系统使用数据通过查询底层报告数据库收集以下变量(定义在文本框1)，以获取2016年9月至2021年1月之间的数据:患者采用、患者参与、警报量、警报率、警报类型、消息状态、分类和升级标志、响应时间以及临床医生参与。使用DBeaver软件(DBeaver Corporation)查询数据。描述性统计和数据可视化使用Tableau软件(Tableau software, Inc)开发。

结果

概述

研究结果解释了我们的系统是如何设计的，FITT框架内确定的功能，我们的系统如何创建和调度警报，警报的管理和交付，以及警报管理和护理团队成员采用的描述性统计数据。

警报通知系统组件及功能

用于识别和通信关键PRO响应的主要系统框架组件，我们根据FITT框架进行了评估，随后在我们的患者门户和安全消息传递系统中的生产PRO工具中实现图3在文本框2．

图3在较高的级别上描述警报系统的概述。从源系统Engage开始，其中构建了问卷，配置了警报，并捕获和存储了患者的调查响应。一旦患者提交了一份调查问卷，听者就会检查这些回答是否超过了预先设定的阈值。然后，当检测到指定警报消息时间的触发事件时，将识别目标收件人(这是在基于覆盖率的患者队列定义阶段预先捕获的)，并将消息路由到适当的通信通道。在我们的例子中，它被路由到一个安全的消息传递系统，但是我们配置了全通道通信策略。该消息被发送到一个邮箱，并由护理团队成员审查，他们可以选择将其升级给其他护理团队成员，或将对话记录在下游的EHR临床记录中。

‎ 查看此图

FITT框架结果:按人员、任务和工具划分的警报特性

在我们参加了每两周一次的PRO工作组之后，我们将期望的功能和用户需求绘制成一个经过修改的FITT框架，该框架由文献综述中确定的每个主要组件分层，总结于文本框2．这导致了项目管理流程和系统需求的全面列表，并告知我们的用户验收测试场景在开发和后续的应用程序推出。结果总结在表1．

警报创建和调度

在警报规则由PRO工作组建立后，由每个服务采用的最新临床实践标准指南组成，系统管理员负责实施这些标准。警报创建是使用警报源系统中的配置工具完成的，允许系统管理员根据患者对单个问题或问题组合的响应配置复杂的规则。护理团队还要求能够针对特定的临床情况指定不同的警报规则(例如根据特定的外科手术、诊断或治疗方案触发警报)，并根据临床事件和患者完成问卷时间之间的时间跨度进行更改(例如对手术后一天报告的疼痛不发出警报，而在第3天开始发出警报)图4，系统管理员在其中配置警报消息的主题和通知消息的正文，包括使用可视颜色指示器和其他基于HTML和级联样式表的消息正文文本格式化选项指定严重级别的能力。临床医生在花了几个月的时间回应非标签信息后，要求使用颜色标签功能来强调严重程度。向消息主题添加表示严重级别的颜色标签，使护理团队成员能够适当地对这些通知进行分类。还可以将临床上下文集成到警报通知正文中。一旦在问卷级别上配置了警报规则，下一个功能就是设置阈值和方向性(大于、等于或小于)，定义为警报触发时必须跨越的级别。接下来，我们开发了一个触发机制，这是一种基于业务规则配置和同步发送通知的计划的技术方法。

‎ 查看此图

警报交付和管理工作流

一旦警报消息准备好交付给目标(定义为在分配调查时负责护理患者的初级临床医生)，护理团队的其他成员就可以订阅初级临床医生的安全收件箱，以代表整个护理团队查看和响应患者消息。警报消息的屏幕截图显示在图5．这个收件箱内置在我们的患者门户中，工作人员可以安全地与患者进行双向通信。收件箱的主要用户是支持诊所的护理和行政办公室人员。在收件箱中，如果有其他人负责该患者，用户可以将消息重新分配给不同的提供者。在打开消息后，工作人员可以通过将消息标记为已完成来确认消息，直接回复患者，或将消息升级到临床医生办公室的工作人员，通常是护士。除了数字化工作流程之外，医护人员还可以通过电话跟进患者，并将信息标记为完整。一旦对警报消息采取了操作，用户可以选择将消息线程发送到EHR，以便将其导入到注释中。最后一个导入步骤关闭警报管理生命周期的循环。

图5演示警报配置的输出，这是在护理团队的收件箱中显示的消息。消息主题指示警报的严重级别，正文包含红色或黄色症状指示器，显示触发警报的症状。消息体还包括一些关于患者的上下文信息以及他们的联系信息(如果可用的话)，以便护理团队成员可以在消息紧急时直接联系。消息控件在顶部可用，支持重新分配给不同的护理团队成员、直接回复患者、将消息转发到电子邮件、按角色将消息标记为不同的人、将消息标记为完整、将消息发送到EHR (ClinDoc)，以及最后打印消息的功能。

‎ 查看此图

数量收养

通过配置警报功能的8份问卷，7.82%(36,838/470,841)的患者每完成一次症状评估就发出警报，13.28%(10,965/82,544)的患者接受了至少一次调查，至少发出了一次警报。这意味着92.28%(434,003/470,841)的患者调查没有触发警报;因此，他们的反应不需要由护理团队审查。这些警报由191个不同的护理团队管理，该团队由501名工作人员组成。每个护理团队都配置了自己的邮箱，该邮箱设置在医生诊所、服务或诊所位置级别。工作人员订阅护理团队邮箱，并有权查看患者消息、对其进行分类并回复患者。每个邮箱平均由5名工作人员管理，护理小组的人数从最少1人到最多75人不等。每个护理团队收件箱的警报中位数为35 (95% CI 0-145)。

警报管理模式

在信息分类和升级方面，4.4%(1631/36,838)的警报被重新分配给其他护理团队，16.7%(6156/36,838)的警报被标记为另一个护理团队成员查看。收到重新分配的信息的护理团队成员通常位于不同的校区，更接近患者最近的治疗地点，而不是最初触发调查的事件地点。在信息管理方面，护理团队成员回复了24.6%(9057/36,838)的信息，并将40.9%(15,069/36,838)的信息标记为已完成(标记为已阅读)而不回复，34.5%(12,712/36,838)的信息通过如下流程进一步记录在EHR内的临床记录中图2．在数量上，61.6%(22,692/36,838)的警报为黄色，13.3%(4896/36,838)的警报为红黄色，12.4%(4561/36,838)的警报为红色，12.7%(4689/36,838)的警报未标注颜色无标号警报．

当将警报状态与警报级别进行比较时，我们看到随着警报级别的增加，护理团队文档活动也增加了，这为警报阈值的有效性提供了基于护理团队的验证信号。记录的警报级别最低的是未标记警报，占所有未标记警报的27.68%(1298/4689)，而记录的警报级别最高的是红色警报，其中56.83%(2592/4516)记录在电子病历中。

我们通过三个不同的时间窗口分析了响应警报的周转时间表2:(1)办公时间内(星期一至星期五上午8时至下午6时)，(2)办公时间外(工作日下午6时至次日上午8时，星期日至星期一及星期五至星期六除外)，及(3)周末(星期五下午6时至星期一上午8时)。营业时间内的响应时间中位数为1小时，响应时间因警报严重程度而异;红色警报的响应时间不到一小时，未标记警报的响应时间中值为2小时。在营业时间以外收到的警报需要更长的时间来审查，响应时间中位数为6小时，表明响应时间随着严重程度的增加而减少，这表明护理团队成员使用颜色标签作为有效的分类机制，更快地响应最关键的警报。

讨论

主要研究结果

本研究是首批报告癌症护理中PRO关键结果管理和沟通系统的设计、实施和运行结果的研究之一。虽然许多研究报告了PRO系统的发展，但没有一个研究深入关注结果的管理。我们的研究结果表明，应该有一种机制来及时处理患者报告的重要结果，以便患者可以与护理团队讨论他们的症状。为此，我们加强了现有的安全消息传递系统，以促进患者与其护理团队之间的异步通信。考虑到护理团队的规模和组成可能因轮班不断变化而变化，我们的研究结果显示，护理团队的中位数为5人;其他人也报道了类似的发现[48，49］．重要的是开发一个解决方案，让整个护理团队可以看到之前与患者的互动，从而无缝地恢复另一个护理团队成员中断的对话。标记功能对于通知高级团队成员需要注意的消息非常有用。尽管使用频率较低，但将患者重新分配到不同的护理团队的能力允许团队之间顺利交接。

设置有临床意义的警报阈值

在患者队列中建立具有临床意义的阈值是至关重要的，它为治疗发作后任何一天的“正常”症状设定了基线定义。警报阈值是一个很有争议的话题，在每台仪器的投产后都被反复讨论了很多次。决策是在每个项目工作组中做出的，团队讨论了开启警报的影响以及对工作负载的预期影响。这些决定是基于处理针对警报的治疗事件后症状报告的经验。临床护理团队由精通通过电话收集患者症状数据的护士组成;因此，他们知道在手术等事件发生后的某一天会听到哪些症状，并根据临床判断做出决定。随着时间的推移，卫生保健系统了解患者的结果，能够调整阈值是很重要的。工作人员通过汇总仪表板审查警报率，使团队成员能够反映工作人员的警报工作量负担，并确定缓解策略。通过检查仪表板，管理层注意到手术后第二天报告的疼痛等症状的警戒率很高，这被确定为正常的临床事件。因此，警报规则被调整为在手术后2至3天内不对特定问题发出警报。 Setting thresholds such as “red” and “yellow,” which indicate severe and moderate symptoms, respectively, created visual indicators for the care team members within the subject as well as the body of the message. Notably, we saw a substantial difference in response times for the alerts that were marked as “red,” suggesting that the alert color label was effectively used as a triage mechanism. With this approach, by focusing on the alerts that are marked as “red,” we can reduce clinician burnout by minimizing the cognitive load associated with reading patient messages.

PRO管治的重要性

与其他有关PRO管治重要性的研究相似[50]，这项研究还表明治理委员会(eForms委员会，35个人)在设计和实现PROs方面起到了重要作用。该委员会每月召开一次会议，讨论总体系统设计的最佳实践和新功能发布的影响，并决定在不同患者队列中建立具有临床意义的警报阈值。临床医生、护士、患者教育专家和行政人员作为协作的思想领袖，通过对设置的警报阈值进行严格评估，始终努力将患者负担和工作人员的警报疲劳降到最低。以临床为重点的PRO工作组(40人)每两周定期举行一次会议，以确定工作人员的工作流程和职责，为系统设计提供反馈，将警报与现有的消息工作流程相结合，为患者开发教育材料，为工作人员创建培训材料，并通过实时仪表板反映汇总数据。围绕护理团队成员的角色和责任建立了策略，以确保及时响应消息。毫无疑问，护理和办公室工作人员在评估反应、分类和直接回应患者方面发挥了重要作用，与护士主导的患者参与项目的类似发现产生了共鸣[17，51-54］．除了一个项目有专门的工作人员在周末检查患者信息外，患者被告知邮箱在正常工作时间之外无人值守，并鼓励他们在出现紧急症状时致电医生。

PRO集成到临床工作流程中

将pro集成到临床工作流程中一直是一个挑战，而让临床医生对数据进行审查并采取行动则是另一个挑战。建立一个警报系统，通过警报通知临床医生只有临床有意义的患者反应，这是朝着更好的方向迈出的一步，只有当临床专家认为警报具有临床意义时，临床医生才需要审查警报。考虑到部分由信息过载引起的临床医生倦怠的新问题，通过使用该警报系统，护理团队审查了7.82%(36,838/470,841)的患者反应，消除了审查超过92.28%(434,003/470,841)的反应的需要，同时保持有价值的PRO数据的收集，以研究患者对治疗反应的长期结果。有一个无缝的机制在同一工作流程中与患者沟通是朝着正确方向迈出的又一步，并且与文献中的发现一致[27］．它不仅向患者发出信号，表明他们正在受到持续的照顾，鼓励他们继续完成评估，而且还可以用于早期解决症状，防止任何不必要的急诊室就诊。

未来研究机会

虽然PRO数据可以成为共享决策和弥合中间就诊护理差距的宝贵工具，但只有在患者完成评估后才能获得数据。在COVID-19大流行期间采用远程监测方案[55-57暴露了完全依赖数字干预的项目所造成的数字鸿沟。对技术不熟悉或主要语言与调查工具语言不同的患者可能不太可能完成症状评估。当我们扩展基于pro的远程症状监测项目时，我们必须考虑研究全数字化干预的社会技术方面。在适当设置有意义的警报阈值方面，对未来的研究机会有几个影响。在MSK，围绕设置有临床意义的阈值的讨论随着时间的推移而演变，最终由负责响应警报的护理人员和负责患者结果的医生之间达成协议决定。此外，分析患者特征(如人口统计学、疾病阶段或疾病类型)对警报反应模式和与护理团队成员沟通的影响将是有趣的。随着我们积累更强大的PRO数据集并监测临床医生的分诊，我们有机会建立机器学习模型，根据患者对特定PRO的反应、反应模式和疾病分期和进展等临床背景，预测患者何时需要干预。此外，可以开发基于人工智能的自动化聊天机器人，以促进与患者的对话，减轻护理人员的负担。进一步研究护士在EHRs中的后续活动，如转诊、药物订购或与其他护理团队成员的沟通，可以为聊天机器人对患者的响应提供改进。

限制

本研究有一定的局限性。首先，我们报告了来自一个机构的调查结果，这可能无法在所有设置中推广。此外，由于我们有一个内部开发的患者参与系统，我们可以灵活地设计和实施最适合护理团队工作流程的警报管理系统，这可能是其他医疗机构负担不起的灵活性。此外，选择为其PRO程序实现警报功能的护理团队高度参与了系统开发生命周期，并在整个过程中提供了充分的反馈，这可能不适用于资源有限的机构。大多数功能的系统设计特性是通过与试点工作组的讨论得知的，并且本质上是定性的，我们没有执行正式的定量评估。

结论

通过开发关键症状警报和通信系统，我们设计了一个系统，支持基于PRO数据的关键结果实时传递给适当的护理团队成员，包括患者和临床工作人员以非结构化、基于文本的安全通信格式就警报进行通信的能力。我们能够标准化患者生成的警报消息的处理，使临床工作流程中具有临床意义的PRO数据以标准格式呈现，并监控临床工作人员的响应时间。这使我们能够为患者的护理团队成员设定一个适当的响应时间框架，或为每个患者及其所经历的手术提供特定的替代沟通指导。