人们对技术在支持老年人健康和福祉方面的作用越来越感兴趣。新兴技术可通过促进护理协调、与护理团队成员(包括卫生保健专业人员和家庭护理人员)沟通以及自我管理，帮助老年人监测其健康状况[ 1- 3.］．移动医疗(mHealth)技术可改善患者体验[ 4]，并透过改善沟通和协作，以及支援医护专业人员，加强医护服务的提供[ 3.］．卡梅隆等人[ 5)认为，“移动性是参与式医疗保健概念的核心，”允许患者不受时间和空间的限制(或较少限制)参与医疗保健。虽然移动医疗有很多定义[ 5]，两者与电子保健重叠，在此我们援引世界卫生组织的描述和区别:移动保健是"为公共卫生使用移动无线技术，或称移动保健，是电子保健的一个组成部分，电子保健是指以具有成本效益和安全的方式使用信息和通信技术支持保健和与卫生有关的领域" [ 6］．

移动医疗的边界随着技术进步和通过移动和手持平板设备访问互联网的趋势迅速扩大[ 7， 8］．尽管人们普遍愿意使用移动医疗技术来管理自己的健康，[ 9]，该领域的研究和产品设计主要针对一群用户:年轻人[ 10， 11］．最近的研究结果正在挑战传统的刻板印象，即老年人害怕或不愿意使用科技;在过去十年中，老年人对电脑、手机、平板电脑和智能手机等科技产品的使用一直在稳步增长。 12- 14］．此外，2019冠状病毒病大流行进一步加快了老年人采用新技术的速度[ 15， 16］．老年人日益认识到，技术可以通过健康监测和获取信息，在支持自我管理实践方面发挥作用[ 17- 20.］．

有新的证据表明，针对老年患者，移动健康工具可以被用来支持疼痛管理[ 21]，增加流动性(例如，[ 22])，减低跌倒风险[ 23]，支持健康的习惯(例如，[ 24])，以及治疗一系列慢性疾病(例如，[ 25])。许多移动健康应用程序被设计用于支持慢性疾病管理[ 26]，包括老年患者[ 3.］．移动健康应用程序的开发倾向于响应医疗保健系统，分别处理特定的疾病、条件和医疗保健目标。目前缺少的是一个全面的移动健康应用程序，它将支持一种综合方法来管理老年患者的个人医疗保健目标、需求、预约、药物提醒和医疗保健通信。

尽管一些人质疑移动健康的临床价值，因为缺乏证据证明对患者的广泛影响[ 27)，该行业出现了“爆炸式增长”[ 5］．有许多针对老年患者的移动健康应用程序，但Wildenbos等人[ 28范围审查发现，从广义上讲，移动健康仍然不能满足老年用户的特定需求。根据Wildenbos等人[ 28]，为老年用户开发移动健康应用程序必须考虑认知、动机、身体能力和感知，并特别注意身体和感知障碍。这些考虑也得到了Li等人的响应[ 29他们对针对老年用户的移动健康应用的看法。

Wildenbos等人的评论[ 28]和李等[ 29]强调了将用户嵌入移动医疗设计过程的必要性，这种方式既丰富又有意义。与用户一起、为用户而设计的原则反映在“协同设计”方法和用户体验(UX)方法中。协同设计已广泛应用于移动健康应用程序的开发(见[ 30.])，并让持份者参与设计及发展过程的每个阶段。老年人在协同设计过程中的参与程度是可变的[ 31］．Noorbergen的系统综述[ 30.]发现，协同设计方法倾向于在早期阶段(例如，预设计和生成)嵌入利益相关者，而不是贯穿始终。在概念上与协同设计相似，用户体验或用户体验设计强调通过可用性测试等过程，将用户使用服务或产品的体验所产生的感知结合在一起[ 32， 33］．在用户体验领域，以人为本的设计原则可以支持满足用户需求和能力的产品开发[ 34］．关注用户的需求和能力也反映了Wildenboss等人[ 28]和李等[ 29]中特别提到了针对老年用户的设计。最近，研究人员为老年人提供了特定的用户体验设计方法，尤其是Russell Kirkscey [ 33， 35］．建立关系和信任被认为是这些方法的重要组成部分[ 31］．越来越多的文献表明，如果没有始终嵌入用户，不关注用户的需求和能力，或者没有在用户和开发人员之间建立关系和信任，协同设计可能不会产生预期的结果。

本研究的目的是反思参与扩展协同设计过程以开发老年人移动健康应用程序的过程和经验教训。其目的是设计一个移动健康工具，以帮助老年人与卫生保健专业人员和护理人员协调他们的护理，重点是初级保健。本文的研究问题和研究目标如下:

该项目嵌套在一个更广泛的、多成分的干预措施中，旨在改变加拿大3个省老年患者及其护理人员的初级保健[ 36］．通知、开发和测试应用程序的过程如下所示。

我们概念化、开发和测试移动健康应用程序的工作包括4个阶段:第一阶段:咨询利益相关者(2017年1月至11月);第二阶段:应用程序开发和与老年人共同设计(2018年1月至9月);第三阶段:用较小样本的老年志愿者测试人员进行现场测试(2019年1月至4月);第四阶段，在内部反映从这一过程中吸取的教训(2020年9月至12月)。下面概述了用于跟踪、报告和理解每个阶段的方法。我们是一个混合方法研究人员、老年医学专家和老年医疗保健部门的专业人员组成的团队，他们一起实施了多方面的干预措施，以改善老年患者的初级保健。这是我们团队承担的第一个应用程序开发计划。

在第一阶段之前，我们对现有的支持社区老年人护理协调的移动健康工具类型进行了范围审查，以及它们现有的和期望的功能和实施问题(结果报告在其他地方;［ 37])。根据Levac等人的范围审查方法，范围审查的结果为与利益相关者的协商过程提供了信息[ 36］．通过谘询步骤，并与共同设计方法的原则保持一致[ 30.]，我们的目标是更好地了解主要利益相关者的移动医疗偏好，包括老年人、家庭护理人员和初级保健提供者。

研究人员从加拿大安大略省南部的城市和农村地区招募了26名参与者。数据收集包括对5名初级保健提供者、1名护理人员和1名技术专家的单独访谈，以及对老年人和护理人员的4次焦点小组访谈(每组4-6名参与者)。老年人的定义是年龄≥65岁，居住在社区，可获得初级保健服务，会讲英语并自行表示同意的人。家庭照顾者是任何年龄的人，他们承担着照顾生活在社区中的老年人的角色。提供者包括扮演初级保健提供者角色的任何年龄的人员，如家庭医生或执业护士。由于这项工作被嵌入到一个更大的项目中，该项目旨在改变老年患者的初级保健，我们利用与5家诊所和相关组织(例如，患者咨询小组)的现有合作伙伴关系进行招聘，使用招聘脚本(由每个小组的看门人交付)和招聘海报。参与者接受了采访(单独或通过焦点小组)，并被要求完成一份优先级设置问卷，在问卷中，他们对移动健康应用程序功能的重要性进行排序，这些功能来自范围审查。访谈指南载于 多媒体附件1，问卷在 多媒体附件2．

采用半结构化访谈和对参与者的焦点小组，以获得对移动健康偏好的更丰富的了解。这些个人和焦点小组访谈持续约45-60分钟，并进行了数字记录和转录。访谈数据由1名研究生(PF)使用Braun和Clarke的主题分析方法[ 38]，由NVivo(版本11,QSR International)支持。问卷中的数据输入到Excel电子表格中，取平均值，并根据平均评分进行排名。SDs根据样本方差计算，并作为共识指标报告。评级最高的功能被认为是应用程序中应该优先考虑的功能。

在完成背景范围审查并与利益相关者进行咨询，以了解应用程序应该包含哪些内容来支持老年患者及其护理人员，特别是在初级保健方面，我们开始了应用程序开发和协同设计过程。我们的研究团队领导了与老年人的共同设计会议，我们与当地开发者签订了应用程序所需的代码。应用程序的开发和与老年人的咨询同时进行，目的是在开发过程的每个阶段使用老年人的反馈。老年人是从老年人帮助研究伙伴(SHARP)小组中招募的，我们的团队已经与他们合作了7年多，他们也参与了第一阶段所描述的访谈。在应用程序开发过程中，我们与大约6名老年人进行了3次面对面的协同设计会议，由在促进和定性数据收集方面受过培训的团队成员领导。我们通过与开发人员的团队会议和100多封电子邮件交流了老年人共同设计会议的结果。为了报告和反思这一过程，我们利用了开发合同和支持信，合作设计会议的现场记录，以及与开发人员的15次会议的记录和录音，我们在这里匿名了。

研究人员通过电子邮件联系参与联合设计过程早期阶段的参与者，邀请他们参与测试应用程序。来自安大略南部一个中等城市的6名参与者(5名老年人和1名护理人员)同意对应用程序进行为期6个月的实地测试。感兴趣的参与者在研究助理的指导下完成单独的、面对面的培训教程(20-30分钟)。在一对一的培训课程中，研究助理协助参与者使用研究团队提供的iPad或三星平板电脑登录应用程序，以确保在苹果(iPad)和安卓(三星)两种格式下完成测试。研究人员通过循序渐进的教程指导参与者如何使用应用程序中的每个功能。为每位参与者提供了苹果或android专用的应用程序用户指南，以提供如何使用平板电脑设备和应用程序的基本信息。研究助理在两周后分别与每位现场测试人员联系，然后每月联系一次。与现场测试人员的沟通取决于个人喜好，包括与研究团队的电话、面对面会议和电子邮件。现场测试人员被要求对应用程序中的特定功能做笔记;这些笔记模板可在 多媒体附件1．与现场测试人员的预定对话被数字记录，并由中列出的面试问题进行指导 多媒体附件1．

为了探索我们团队的反思和从这个过程中吸取的教训，一个小型的焦点小组会议(n=3)由团队成员举行，这些成员从一开始就密切参与合作设计项目。我们记录和转录了焦点小组，并应用了专题分析[ 38以确定所吸取的教训。

我们获得了滑铁卢大学研究伦理办公室(ORE # 44428)对阶段1、2和3的伦理许可;第四阶段只包括研究团队成员和所有同意分享和记录他们对这篇手稿的思考的合著者。

在调查问卷中，老年人和护理人员报告说，他们最感兴趣的是培训和支持使用该工具，与他们的护理团队保持联系，提醒他们带物品去约会，以及跟踪他们的疾病的能力。与此同时，初级保健提供者感兴趣的是老年人携带他们的药物、预约细节、老年患者护理团队的联系列表、目标设定、跟踪锻炼、健康数据超出范围时的警报，以及跟踪健康信息的提醒。 表1显示调查问卷中确定的老年人、护理人员和初级保健提供者的十大移动健康功能优先事项。

文本框1概述了我们在与利益相关者的访谈分析中确定的8个主要主题。虽然调查确定了移动健康应用程序的理想功能和支持，但访谈揭示并扩展了可能支持或阻碍此类应用程序使用的重要上下文因素。这些上下文因素与我们工作的更广泛的(脱节的)医疗保健系统、技术的获取(例如，在更多农村地区的限制)以及更多个人层面的考虑有关，包括患者和护理人员的个体差异和偏好。获得和舒适的技术，以及健康素养。例如:

与会者还讨论了移动健康应用程序的效用和潜力，普遍对移动健康持积极态度;然而，一些重要的考虑可能会限制接受或重现现有的健康不平等现象(例如，对于资源有限的人来说，卫生知识普及程度低，健康状况非常差)。与会者还强调，如果移动健康应用程序是针对支持虚弱老年人的护理人员提供的，那么它可能会更成功:

与主要利益相关者的磋商过程证实，老年人和初级保健提供者对移动保健工具有强烈的兴趣，并指出应将一些功能集成到移动保健工具中，以支持护理协调。这项背景工作为项目的下一阶段奠定了基础，包括与应用程序开发人员合作创建移动健康工具，并对老年人和家庭护理人员进行测试。

我们的团队位于加拿大最大的技术中心，我们依靠熟悉当地开发人员背景的同事的指导，在制定我们的研究计划以获得资金时选择合适的供应商。我们在2017年与供应商进行了对话，并与大学工作人员(例如我们的大学隐私官)合作，然后选择了一个开发人员，以了解与隐私相关的问题，因为应用程序将存储用户的个人健康信息。考虑到我们研究资金的性质，我们必须选择供应商，并在申请资金时提供“支持信”，这远远早于任何资金可用或细节确定之前。我们选择了我们的供应商，考虑到他们之前在开发移动健康应用程序方面的经验，他们于2018年初开始工作。

根据我们的咨询工作，这个应用程序旨在帮助存储和组织老年人的医疗保健信息，包括参与他们的护理、预约和药物清单的专业人员和诊所。这款应用还提醒用户即将到来的约会和任务，此外还允许老年人跟踪和监控健康信息，如体重、血压或体育活动。SHARP小组的老年人审查了健康应用程序的纸质模型，并提供了初步反馈。SHARP成员主要强调易用性问题，包括小字体、颜色使用、最小化语言复杂性和简化导航。应用开发者利用这些最初的反馈来创建基于web的应用原型。来自SHARP小组的老年人被要求审查原型并在平台上提供评论。在应用商店和谷歌Play Store发布之前，研究人员和应用开发者将这些反馈纳入了应用设计中，这两款应用有英语和法语版本。

下一步是与SHARP的小组成员一起测试应用程序。该组中的老年人在向研究团队提供额外评论之前，在自己的设备或从我们团队借来的设备上测试了大约两周的应用程序。虽然用户对这款应用的整体外观和图标表示满意，但一些老年人却觉得在应用和附带的使用手册中导航很麻烦。老年人建议，除了提供触控笔外，还提供如何使用这款应用的所有功能的额外培训。研究人员和开发人员试图在开始实地测试之前，将这些反馈整合到应用程序的更新中;然而，许多建议无法实施，因为我们的供应商认为这些额外的更改超出了我们的协议范围。例如，老年人希望可以选择查看他们每周和每月的约会日程，但开发人员认为这“超出了范围”。测试人员也会喜欢将应用中的日历与他们设备上现有的日历整合在一起的选项;同样，这也被认为超出了范围。

我们和供应商签了11个月的合同。在前两个月，我们定期与供应商会面，同时与老年人进行焦点小组讨论(如上所述)，以审查应用程序开发过程。而我们，作为健康研究人员，称之为“共同设计”或“共同创造”[ 39， 40，许多开发部门的人会给这种用户体验贴上标签。

到了第4个月，我们意识到我们的期望与供应商愿意或能够交付的内容之间存在不匹配。在第2个月和第3个月，我们提供了与老年人共同设计过程的反馈，但很少有用户反馈被执行。尽管我们最初的协议指出，供应商将“严重依赖用户的输入”，并且合同声明开发人员计划“以迭代的方式与项目团队合作”，但我们认为这种合作是相当有限的。虽然有些请求显然超出了范围(例如，将应用程序链接到用户医生的现有电子病历[EMR]系统)，但许多请求看起来(在我们看来)相对简单，并且在我们最初的协议中涵盖。也有一些情况下，老年人想要的东西(例如，导航应用程序的特定方法或视觉偏好)与开发人员在他们的领域认为的“最佳实践”不一致(例如，一些用户要求文本全部大写，以提高可读性和视觉效果，这在应用程序开发中通常是避免的)。然而，这个例子提出了一个问题:在为老年人设计应用程序时，他们的偏好或“最佳实践”应该优先考虑吗?最终的产品没有反映用户的输入和反馈。

在苹果和谷歌商店发布应用程序后，我们将带有应用程序的设备(以及支持可用性的触控笔)分发给6名志愿现场测试人员，目的是获得他们的反馈，并跟踪他们6个月的应用程序使用情况(例如，确定哪些功能使用最频繁，了解应用程序是否被带到医疗预约或与护理人员一起使用，等等)。不幸的是，两名参与者在研究开始前归还了他们的设备:一名是因为他们发现应用程序太复杂，另一名是因为可见性问题(他们报告说，他们更希望应用程序中的所有文本都是大写的，以便更好的可读性，或者允许用户根据自己的喜好将字体改为大写)。

初步结果显示，该应用程序支持管理参与者的健康或医疗保健的某些方面。例如，一名参与者发现“我的日历”元素中的提醒功能对组织他们的医疗保健特别有帮助(例如，预约和药物提醒)，另一名参与者发现护理团队功能特别有利于巩固他们的医疗保健专业人员的联系信息。然而，大部分反馈反映出，在第二阶段(开发和协同设计)中来自老年人的大多数输入没有得到解决。存在一致的可用性和可访问性问题(例如，字体小、可读性和应用程序的整体复杂性)，以及可用但功能不符合参与者预期的功能(例如，没有机制将应用程序中的日历链接到设备上的现有日历，因此参与者必须维护两个日历，一个用于应用程序中的健康，另一个用于设备上的个人和专业活动的定期安排)。现场测试在3个月后停止，因为其余测试人员的反馈一直很差。尽管我们公开发布了这款应用，但考虑到上面提到的可用性问题，这款应用并没有作为我们对初级保健更广泛干预的一部分推出。

通过我们的多阶段混合方法联合设计项目，我们了解到(1)老年人和初级保健提供者热衷于一个集成的应用程序，帮助老年用户管理他们的健康和保健，(2)老年人优先考虑多种模式的支持，以有效地使用应用程序，而初级保健提供者强调有助于跟踪的功能的重要性(例如，跟踪预约、护理团队、疫苗等)，(3)就学习而言，与老年人和开发人员合作设计是富有成效的，但最终具有挑战性。我们还包括了对经常被引用的“陷阱”的事后分析[ 30.]，目的是反思并为我们团队和其他人未来的工作提供信息。这两个步骤都为老年用户的移动健康开发提供了新的见解。对应用程序开发和实践的影响，以及对未来用户体验和协同设计研究的影响，将在下面进一步详细说明。

我们的咨询阶段确定了老年人、护理人员和初级保健提供者希望在旨在支持老年患者健康和保健的移动健康应用程序中看到的特征、功能和重要考虑因素(例如，隐私、可访问性和可负担性)。我们针对移动健康特征和考虑因素的研究结果与其他研究一致(例如，[ 3.])，并强调“感知有用性”和“感知易用性”的重要性[ 41］．值得注意的是，初级保健提供者将免疫记录和疾病列表列为他们的前两个特征，而老年人则将IT用户支持和使用应用程序的培训列为他们排名最高的两个特征。我们试图解决这些优先事项，并创建了一个反映初级保健提供者和预期用户(即老年人)偏好的应用程序。在我们的案例中，这些偏好并不矛盾:提供者想要特定的功能(例如，跟踪预约和疫苗)，而老年人想要伴随应用程序的支持工具(例如，手册或IT支持)，以便他们可以使用这些功能。

在与开发人员合作时，我们也看到了“专家”或专业人士推荐的内容与老用户要求的内容之间的差异(例如，要求与最佳实践和设计标准相矛盾的设计元素)。根据我们的经验，用户和开发人员都有充分的理由来说明他们的偏好，(事后看来)我们应该在最初的合同中加入更多的时间，让开发人员直接与老年人合作，以达成对冲突元素的共同理解。

初级保健提供者和老年人都想要的一些功能在我们的医疗保健系统中是不可能实现的。从根本上讲，不可能将移动健康应用程序集成到一个自身没有集成的更广泛、多方面的医疗保健系统中。 42- 44］．在初级保健诊所、医院、专家、家庭和社区护理可能都在使用不同的电子病历系统，或者根本不使用电子病历的情况下[ 45]，我们无法响应要求将患者与他们的记录、健康史、预约等跨众多不同系统连接起来的功能的请求。虽然我们意识到我们的系统是不相连的，但也许我们并没有完全理解Kirkscey [ 33他说，“要想衡量成功与否，一款面向老年用户的功能齐全的应用应该整合到整个医疗保健系统中。”我们的参与者在我们的咨询阶段附和Kirkscey:在医疗保健系统本身尚未集成的情况下，集成应用程序的执行是有限的。对于那些在不连接的卫生保健系统中工作的人，并使用联合设计技术，为联合设计参与者提供一些关于在他们特定的环境和环境中什么是可能的(什么可能是不可能的)的上下文可能是有帮助的。

与Noorbergen的评论中的大多数UX方法不同[ 30.]，我们专注于让用户参与协同设计过程的每一步。与UX文献一致[ 32， 33， 35， 44]，我们的目标是解决用户的看法、需求和能力;然而，我们的IT供应商并不总是能够在开发过程中满足他们的需求和请求。尽管UX研究人员[ 31]都强调信任和关系的重要性，根据我们的经验，这在现场测试人员中并不缺乏，在开发人员中也不缺乏。建议将时间花在建立关系和信任上，包括社交时间，作为共同设计过程的推动者。 31)，但当与开发者合作时，情况就变得复杂了，因为他们必须对投入项目的时间收费。

随着越来越多的健康研究人员试图利用技术的潜力来改善老年人的福祉[ 1]，(根据我们的经验)研究人员可能会在技术开发部门遇到不可预见的挑战[ 30.］．我们团队忽视的一个方面是，在与用户利益相关者合作为老年人共同创建移动健康技术时，确保研究人员和应用程序开发人员致力于采用用户体验视角的重要性[ 33， 35］．我们研究的设计与Harte等人概述的以人为本的设计方面大致一致[ 34)，比如参与迭代过程，让用户参与应用程序设计和开发的不同阶段。我们的工作通过展示研究人员、应用程序开发人员和利益相关者用户之间的合作关系所面临的挑战，进一步增加了这一对话，研究团队应该考虑[ 46在为老年人共同设计移动健康工具时，即使遵循适当的用户体验指导原则和标准。

用户体验设计在过去几年有了显著的发展和演变，包括用户体验在移动健康应用开发中的应用[ 33， 47- 49]，并且从事这项工作的团队很可能会发现更容易找到精通UX原则的开发人员。关于这个主题也有大量的文献。关于老年人使用移动医疗的障碍已经写了很多文章(例如，[ 21， 28， 29])，我们在咨询阶段的调查结果与许多建议和考虑因素相呼应，这些建议和考虑具体涉及可见性(例如，清晰的文本，对比度)，可访问性(例如，放大，翻译，改变字体大小的能力)，以及易用性的重要性(例如，简单的导航，明确地注意链接)。我们也看到了关于如何为老年人设计移动健康应用程序的文献的出现(例如，[ 29， 33， 35])，以及为老年痴呆症患者提供设计服务的见解和指引[ 50]，以及有一系列身体缺陷的人[ 51］．这个更新的文献反映了我们的方法，即将老年人嵌入到每个发展阶段。我们最终产品的局限性并不一定是因为方法本身有缺陷，而是因为我们的发展伙伴关系没有优先考虑或反映我们在与老年人接触时听到的情况。必须在开发过程的每个阶段有意义地采用ux和反馈[ 29， 30.， 33];这有助于确保所有观点都得到考虑，并避免不切实际的期望[ 31］．我们建议进入移动健康应用开发过程的研究人员、临床医生和开发人员在签订任何合同之前，花一些时间确保每个人都在同一页上，不仅在技术上，而且在用户体验或共同设计的方法上。

2019冠状病毒病(COVID-19)大流行揭示并再现了几十年来渗透在我们社会中的(针对老年人的)态度;如果不是更久的话[ 52， 53］．我们生活在一个年龄歧视的社会，优先考虑年轻人的经历、喜好、愿望和需求。 54］．尽管我们从未暗示与我们合作的开发人员是明显的反歧视者，但他们(就像我们一样)是优先考虑年轻人需求的社会的一部分，也是历史上为年轻人做了更好设计的行业的一部分。 10， 11］．我们很高兴看到为老年用户设计应用程序的指导方针和建议(例如，[ 29])和日益突出的老年技术(专攻为老年人设计和采用新技术的老年学学科)[ 55］．尽管研究人员从事老年技术已经超过20年了[ 56]，我们的工作表明还需要做更多的工作。我们的研究结果表明，人们迫切需要一款(或多个)应用程序来支持患者管理有关他们的预约、护理团队、慢性病、处方、疫苗接种等信息。我们分享这些结果的时候，人口正在老龄化，老年人寿命更长(但往往有更多的慢性病和处方需要管理)[ 57]，此时(由于COVID-19大流行)跟踪疫苗接种变得更加重要，老年用户越来越多地将科技和智能手机融入日常生活[ 15， 16，年龄歧视者 而且在日益老龄化的社会，为老年用户设计产品既有道德责任，也有强大的商业理由。

Stowell等人的回顾[ 58的研究表明，用户体验设计经常忽略了种族化用户的体验和输入，我们的老年人样本也主要是白人，具有相对较高的社会经济地位(关于SHARP群体的描述可以在[ 59])。鉴于我们的研究结果的性质，这项研究也不包括与我们合作的开发人员的观点;他们对我们的过程和交付的产品的解释很可能是不同的。与外部合作伙伴一起参与UX开发过程的团队可能希望主动地在他们的初始合同中建立一个“发布后汇报”会议，因为知道这些过程可能很复杂，并且值得对双方都适用的东西进行事后分析。最后，尽管我们最终的移动健康产品有真正的局限性，但我们也认为同行评议的文献倾向于关注成功的故事，报告失误和偏差对其他人的工作有很大的价值[ 60］．我们将我们的一些发现(即阶段2和阶段4)置于更广泛的发表“负面”结果的呼吁中(例如，[ 61)，而不仅仅是研究成功案例。我们相信与老年用户一起设计的力量和重要性，并在几个高技术和低技术项目中继续这样做。

虽然我们最终的mHealth应用程序并没有反映老年成人测试者的所有需求和愿望，但我们的咨询过程确定了关键功能和上下文信息，这些信息对于开发支持老年人管理他们的健康和保健的应用程序至关重要。此外，当健康研究人员和老年医学专家进入应用程序开发领域时，我们的反思过程确定了需要考虑的重要因素。用卡尔·波普尔的话来说[ 62，“每一次反驳都应该被视为一次巨大的成功，”我们希望在这里分享的反思和反驳将为其他人未来的工作提供信息和支持，这些人试图使用移动健康应用程序来支持老年人的健康。