移动健康敏捷开发和评估生命周期指导了这项研究。该生命周期侧重于安全性和有效性，同时也允许快速迭代开发和评估，这需要创建高质量、有效、经过彻底测试、基于证据的数字工具。移动健康敏捷开发和评估生命周期分为5个阶段:阶段0 -项目识别;第一阶段:用户体验、设计、开发和alpha测试;第二阶段测试;3期临床试验评价;第四阶段-上市后监察[ 21) ( 图1)。这项研究集中在这个周期的前三个阶段——项目识别;用户体验设计、开发和alpha测试;还有beta测试。

我们采用了以用户为中心的顺序设计过程方法，重点关注移动医疗敏捷开发和评估生命周期的前三个阶段( 图2)。邀请2011年1月1日至2019年8月30日期间在科罗拉多州儿童医院(CHCO)、芝加哥儿童医院(Lurie)和费城儿童医院(CHOP)接受肝脏、心脏和肾脏移植的所有讲英语的移植肝病学家、心脏病学家、肾病学家、传染病医生、初级保健医生和儿童父母参加。卫生保健提供者被邀请通过电子邮件邀请参加。在诊所接触移植受者的父母或发出书面邀请。参与者获得了参与研究的报销(每次访谈10美元，每个焦点小组150美元，每次有声思维演练应用程序试用测试150美元)。机构审查委员会获得了科罗拉多大学的批准(所有研究都通过科罗拉多大学进行;CHOP和Lurie只协助招募)，面试官在开始面试、焦点小组或有声思考演练应用程序之前获得口头知情同意[ 7]。

为了开发一个基于证据和理论的应用程序，我们根据相关文献、本小组之前的研究以及理论领域框架中的领域确定了移植前免疫的障碍[ 4- 6， 22- 26]。我们对82名移植利益相关者(包括移植受者的父母、移植护士协调员、移植传染病医生、初级保健医生、移植肾病学家、心脏病学家和肝病学家)进行了半结构化访谈，以确定移植前免疫接种的障碍，并探讨免疫应用程序是否有助于解决这些障碍。我们使用基于团队的归纳方法来分析结果[ 7]。我们这篇手稿的重点是提出关于免疫应用程序的使用和可接受性的新发现。

在形成性研究的基础上，我们与CANImmunize公司合作开发了一款适用于苹果和Android智能手机的新应用程序。应用程序的内容针对步骤1中确定的免疫障碍。具体而言，该应用程序(1)包含有关移植前疫苗安全性和时机的信息;(2)为每个儿童提供易于访问的基于云的免疫记录;(3)包括聊天或通信功能，供提供者和家长就免疫接种进行沟通;(4)根据疾病控制和预防中心加快的移植候选人疫苗接种时间表，提醒家长和提供者接种疫苗。

我们进行了2次焦点小组讨论，第一组有5名移植利益相关者参与，第二组有6名移植利益相关者参与(N=11;5名移植受者的父母、2名初级保健医生、2名移植护士协调员和2名肝病学家)，以获得对应用程序初始版本的反馈。我们实施了与推荐的焦点小组方法一致的焦点小组协议和半结构化讨论指南[ 27]。我们向参与者展示了应用程序的截图，并询问他们的想法。两个焦点小组都由一名主持人主持，用英语进行，持续了60分钟。在参与者的允许下，焦点小组被录影，并做了笔记。根据焦点小组的调查结果，我们对应用程序进行了修改。在完成初始功能原型后，CANImmunize公司完成了alpha测试，以识别和修复任何布局问题、软件错误或其他技术问题。

我们邀请了12名移植利益相关者(6名移植接受者的父母、2名初级保健医生、2名移植护士协调员和2名肝病学家)对该应用程序进行实验室可用性测试。一旦他们同意，参与者就下载并在Zoom上进行有声思考的过程中试用该应用程序。有声思考演练是软件开发和应用程序测试的标准方法[ 28- 30.]。我们要求12个利益相关者中的每一个建立一个帐户，创建一个新的儿童记录，输入研究小组提供的16种疫苗免疫记录，与研究医生联系，并利用各种应用程序功能(例如，启用触摸/面部识别，设置通过短信接收的通知，阅读应用程序的信息功能)。这个数据库捕获了输入到应用程序中的所有信息，并保存了每次更改用户数据的时间戳。这用于评估参与者输入完整疫苗记录所花费的时间，他们输入疫苗记录的准确性，以及利益相关者与研究医生联系的成功程度。在每个参与者完成测试后，我们要求他们独立完成移动应用程序评级系统(uMARS)的用户版本，这是最终用户评估移动健康应用程序质量的有效工具。uMARS是一项26项的衡量标准，包括评估应用程序的参与度、功能、美学和信息质量的子量表[ 31]。在每3-4次可用性测试之后，我们将反馈整合到应用的新版本中。

我们采访了82名利益相关者，包括心脏、肝脏和肾脏移植受者的父母或监护人、照顾移植受者的初级保健医生、移植传染病医生、移植护士协调员、移植肝病学家、肾病学家和心脏病学家( 表1)。

尽管来自不同的地理区域并有不同类型器官移植(心脏、肝脏和肾脏)的经验，但当被问及可行性和潜在益处时，80/82(98%)的参与者认为移动健康应用程序将有助于解决和克服移植前的这些免疫障碍。家长们评论说，免疫应用程序可以提供有关“疫苗如何起作用以及它们预防什么疾病”的教育材料。所有参与者都报告说，卫生信息技术工具可以通过“让每个人都在同一页面上，特别是当不同的提供者使用不同的电子病历时”来改善沟通。提供者参与者强调，易于访问集中免疫记录将“非常好，特别是对于信息不在州免疫信息系统中的州外患者。”最后，家长和提供者参与者表示，自动疫苗提醒“将对提醒他们接种所需疫苗有很大帮助”( 表2)。

共有11名持份者出席了两个焦点小组。有5名移植受者的父母(1名心脏移植受者的父母，2名肝移植受者的父母，2名肾移植受者的父母)，2名移植护士协调员，2名初级保健医生和2名移植专科医生。在11个利益相关者中，有9个(82%)是女性。

总体而言，参与者对使用应用程序帮助促进移植前免疫接种的想法充满热情。参与者就他们认为有用的应用程序功能给出了具体的建议，包括在手机和台式电脑上使用该应用程序的能力，以及使用手指触摸功能或面部识别登录的能力。

当被问及他们对移植前疫苗接种时间和安全性的信息传递的偏好时，参与者一致喜欢信息文本的想法，而不是信息视频或互动学习会议。

在讨论如何将儿童之前的免疫记录输入应用程序以创建集中的疫苗记录时，参与者提供了宝贵的意见。他们都推荐一个向下滚动的功能来选择每个疫苗接种的月份或年份，而不是一个免费的文本输入，说明“向下滚动的功能可以最大限度地减少输入错误”。一些参与者建议“视觉识别”，即应用程序可以拍摄儿童以前的疫苗记录，然后将该信息直接输入应用程序的记录中。所有参与者都担心将完整的疫苗记录输入应用程序所需的时间。然而，他们表示，如果之后他们总是能够通过电子邮件或从应用程序打印疫苗记录的副本，他们愿意做出最初的时间承诺。

在讨论交流工具或聊天功能时，家长和提供者对能够促进家庭、初级保健医生和移植团队之间的交流的可能性感到兴奋。许多人提到，当初级保健提供者和移植团队使用不同的电子病历时，沟通变得非常困难。一些医疗服务提供者对额外的患者沟通工具表示担忧，因为他们需要检查和回应。

共有12名利益相关者测试了免疫儿科移植应用程序(10名在苹果手机上，2名在安卓手机上)。有6名移植受者的父母(2名心脏移植受者，2名肝移植受者，2名肾移植受者)，2名移植护士协调员，2名照顾过移植患者的初级保健医生，2名移植专科医生。在12名参与者中，有10名(83%)是女性。用户测试确定了6个与可用性和功能相关的问题。确定了四个可用性问题，包括更改主页的外观以使图标更加突出，更改聊天或通信功能的特定图标，更改疫苗信息表的外观以使其更具可读性，以及允许用户批量输入在同一天接种的疫苗或为同一疫苗输入多个日期。在功能方面，参与者建议了2个功能:(1)包含如何使用该应用程序的PDF教程;(2)在疫苗输入部分中，在接种最多的疫苗旁边放置优先星，以帮助家长轻松识别每个年龄段的可能疫苗。通过每3-4个用户的反复尝试，我们修改了应用以解决所有这些问题( 图3)。

数据库的时间戳表明，12名用户平均需要8.1分钟(SD 1.8分钟)才能输入16种疫苗的免疫记录。参与者输入疫苗记录的准确率为87%(14/16)(范围69%-100%)。所有参与者都能够成功地与研究医生联系。

总体而言，参与者对该应用程序充满热情。所有参与者都表示，该应用程序有可能增加有关疫苗和vpi的知识，并改善移植前期间的免疫接种。

所有12名参与者在完成应用程序可用性测试后完成了uMARS。用户粘性、功能、美学和信息的平均得分分别为4.2/5、4.5/5、4.6/5和4.8/5。此外，100%的参与者报告说他们可能或肯定会向每个人推荐这个应用程序。

在本文中，我们描述了最初的设计和以用户为中心的迭代开发免疫儿科移植，这是一款旨在提高儿科移植人群免疫率的移动健康应用程序。免疫儿科移植解决并尝试克服移植前免疫的障碍，提供有关疫苗和vpi的教育信息，创建基于云的中央疫苗记录，家庭和卫生保健团队的所有成员都可以轻松访问，无论他们使用哪种电子病历，具有聊天功能，使家庭和多个卫生保健提供者之间能够进行通信。并发送自动提醒(基于移植候选人使用的加速疫苗接种计划)来提醒家庭和提供者疫苗到期的时间。

虽然市场上还有其他免疫应用程序能够存储疫苗记录并提供有关疫苗的一般信息(例如，Docket免疫记录应用程序[Docket Health Inc .]， Passport Health, Apple Health应用程序[Apple Inc .])，但免疫儿科移植是独一无二的，原因有很多。首先，据我们所知，Immunize PediatricTransplant是第一个整合了沟通工具的应用程序，这样多个提供者就可以直接与家庭和其他提供者就疫苗进行沟通。其次，Immunize PediatricTransplant是第一个包含自动疫苗提醒工具的应用程序，该工具使用独特的疫苗时间表(加速移植前时间表)发送疫苗提醒。研究表明，无论患者年龄、环境或疫苗接种类型如何，召回提醒都能有效提高免疫率[ 32， 33]。此外，对13项随机对照研究的荟萃分析表明，数字推送技术比非数字干预更有可能影响疫苗的吸收[ 34]。第三，免疫儿科移植是独一无二的，为具有特定健康状况(移植)的儿童提供量身定制的疫苗信息，这些儿童需要独特的疫苗时间表(加速时间表)。移植社区是一个积极性高、参与度高的用户群体，是移动医疗干预试点测试的理想选择。第四，免疫儿科移植在医疗保健网络中创建了以患者为中心的基于云的个人健康记录。个人健康记录是健康信息交换的一个重要特点，它使消费者能够控制自己的健康信息[ 10]。如果在未来的实际试验中取得成功，该应用程序可以进行修改，不仅可以用于移植候选人和接受者，还可以用于患有其他疾病的儿童，这些疾病的疫苗接种率低，但感染并发症的风险很高(例如，炎症性肠病、类风湿性关节炎和狼疮)。 35- 43]。总体而言，参与者对该应用程序的评价非常积极，100%的利益相关者向移植家庭和提供者推荐该应用程序。然而，他们确实表示，儿童疫苗记录的输入可以在未来的应用程序迭代中得到改进。目前，该应用程序依赖于父母或医疗团队成员手动输入孩子之前接受过的所有疫苗的名称和日期。这就留下了出错的可能性。在这项初步研究中，87%的疫苗输入正确。虽然7/12参与者(58%)以100%的准确度输入了有关疫苗的信息，但有一名参与者有困难，仅正确输入了69%的信息。参与者建议，在未来，如果人们可以用手机相机拍摄孩子以前的疫苗记录，将照片上传到免疫儿科移植应用程序，然后让应用程序自动识别疫苗名称和日期，那将是理想的。自然语言处理的最佳字符识别最近已被证明具有准确识别EMR中包含的临床相关信息的潜力[ 44- 47]。

或者，一位与会者建议应用程序的未来迭代可以直接从电子病历或州免疫信息系统下载疫苗信息，这一功能已被强调为移动健康的重要未来方向[ 10]。然而，在美国的卫生系统中没有统一的电子病历。截至2017年，有超过600家健康资讯科技开发商提供经认证的健康资讯科技[ 48]。此外，管理移植患者的许多初级保健提供者和移植团队使用不同的电子病历。同样，如果儿童在多个地点接种了疫苗(例如，在初级保健医生办公室、社区药房和移植医生办公室)，疫苗信息可能在不同的电子病历中零散存在。不幸的是，州免疫信息系统只能由某些州内的提供者访问(并非所有专家都可以访问)，移植患者通常由州外的移植中心照顾。免疫儿科移植应用程序允许所有提供者，无论EMR如何，访问完整的疫苗记录，接收疫苗提醒，并轻松与儿童移植团队的所有成员进行沟通。

一些参与者表示担心，这款应用可能会增加供应商的工作量;这将是提供者负责检查和响应的另一个工具。未来在等待肝脏、心脏和肾脏移植的儿童中试用该应用程序时，将设计调查问题，以进一步了解该应用程序是否有助于促进各个提供者和家庭之间的沟通，还是给提供者增加了额外的工作负担。

通过使用各种定性研究技术(半结构化访谈、焦点小组讨论和实验室可用性有声思考测试)，免疫儿科移植应用程序的开发得到了加强，以确保我们对移植前免疫过程有一个全面的了解，包括移植候选人及其提供者面临的所有潜在障碍。在开发的所有阶段，以用户为中心的设计确保了该应用程序能够满足所有不同移植利益相关者(父母、初级保健提供者、移植护士和移植医生)的需求和偏好。最后，uMARS的调查数据和进入应用程序数据库的数据对定性数据进行了补充，以确保应用程序对所有移植利益相关者群体都是可行和可接受的。

免疫儿科移植应用程序的试点研究可能存在几个限制。首先，该应用程序是由来自3个大型儿科移植中心(CHOP, Lurie和CHCO)的讲英语的移植利益相关者设计和试验的。因此，可接受性、可行性和可用性研究结果可能无法推广到所有移植提供者和家庭。其次，研究的参与是自愿的;因此，有可能存在参与者偏见，即对移动医疗充满热情的提供者和家长可能更有可能参与。这些人也可能拥有高于平均水平的技术技能。第三，一些应用程序功能(如聊天或通信功能、疫苗提醒通知和疫情地图)在beta测试期间无法完全测试，因为它们需要实时应用程序环境。在未来的研究中，我们计划在等待心脏、肝脏和肾脏移植的孩子的父母和提供者中实时试用这款应用程序，包括上述功能。最后，该应用程序依赖于家庭或提供者手动输入的免疫接种。如果疫苗输入不完整或输入错误，则个性化疫苗建议可能不准确。在未来的研究中，在等待移植的家庭中试用该应用程序，我们计划评估父母或提供者疫苗输入的准确性。

尽管移植后感染的风险很高，但大多数儿童移植受者在移植时免疫不足。一款名为Immunize pediatrics transplant的新应用程序现已开发出来，它可以克服移植前免疫接种的障碍，包括提供疫苗知识、沟通门户、易于访问的疫苗记录和自动疫苗提醒系统。这项发展研究表明，该应用程序是功能性的，并且可以被移植的利益相关者接受。未来需要在美国所有儿童实体器官移植候选人中进行随机临床试验(敏捷开发阶段3)，以实时试用该应用程序，看看它是否能提高移植时的疫苗接种率。此外，未来的临床试验将使我们能够评估该应用程序是否有助于向儿童家庭宣传新型疫苗(如COVID-19)。