为低收入患者量身定制体育活动智能手机应用程序开发消息内容:以用户为中心的设计和众包方法

介绍

背景

抑郁症和糖尿病都是高度致残的疾病，通常是合并症，对低收入和少数民族患者的影响尤其严重。例如，少数民族和少数种族的病人一般都有较高的患病率[1]，较低的治疗率[2，3.]，以及更糟糕的结果[4，5]。有必要设计更有效的自我管理干预措施，既能针对这两种疾病，又能负担得起、可接受并适合弱势群体[6]。促进身体活动是一种可能有效的策略，对心理健康有积极影响，对抑郁症有特别强的影响[7，8]，以及常见的慢性疾病，例如糖尿病[9]。

手机短信或短信的干预措施在帮助个人养成健康行为(包括体育活动)方面显示出了巨大的前景。10，11]和糖尿病自我管理[12-14]。目前大多数人都拥有一部手机。智能手机在各个人口群体中的使用率都很高(约81%)，而且还在上升。例如，现在拥有智能手机的黑人(80%)和拉丁裔(79%)的比例与白人(82%)相当[15]。因此，反馈和激励短信可能有效地帮助抑郁症和糖尿病患者增加他们的身体活动水平，改善他们的整体健康状况。

然而，关于旨在促进行为改变的短信设计过程的证据有限[16]。完整内容开发过程的详细描述，包括形成性研究和预测试方法，在移动医疗(mHealth)文献中被低估了[17]。在已发表的描述其内容设计过程的健康短信研究中，所使用的方法有很大的可变性。研究人员报告了基于公共卫生指南的信息的发展[18-21]、健康教育课程[14，22]、理论模型[16，18，20.，21，23]、来自定量调查或焦点小组的调查结果[16，18，19，21，23，24]，由研究小组成员或外部专家进行评估[16，18，20.，22]，并在目标人群的子集内进行初步测试[19，20.，25]。因此，本研究旨在整合参与者反馈、试点测试、众包和专家知识等多种方法。

此外，很少有人描述为低收入、低健康素养人群和非英语人士量身定制的短信的设计过程。然而，目前的共识是，数字干预应强调可用性和内容的参与性[26]，并应与有意从干预中获益的用户一起开发[27]。这种视角是以用户为中心的设计(UCD)的基础，UCD是一种源自人机交互多学科研究领域的设计方法。UCD需要最终用户积极参与产品开发，以增强对用户和任务需求的理解，以及设计和评估的迭代[28]。

在健康短信开发的背景下，UCD方法包括在目标人群中进行初步研究，以归纳性地确定他们面临的任何障碍，并收集关于正在开发的内容的反馈[21，29，30.]。然而，在患者群体中招募大量参与者来测试内容是具有挑战性的。在线众包平台，如亚马逊的Mechanical Turk (MTurk)，正越来越多地被用作从相对较大的参与者中获取反馈的手段。然而，仅仅依靠MTurk受访者可能并不完全可行，因为这些参与者并不总是反映典型的患者群体。因此，具体到对服务不足人群的短信设计的研究，可以将众包与参与者反馈结合起来。

目标

考虑到现有的文献有限，而且在设计短信干预的最佳实践方面缺乏共识，特别是针对低收入的西班牙语人群，我们的目标是开发基于证据的短信，并对用户反馈做出回应。在这里，我们描述了用于低收入少数民族患者的自适应智能手机应用程序的文本信息的迭代设计过程。我们提出了一个新的健康短信设计框架，即基于理论的UCD框架，该框架将UCD方法与研究团队中的众包和专业知识集成在一起。在寻求推进移动医疗开发方法的知识体系时，我们提供了建议和经验教训在这个群体中设计短信。

方法

概述

这个短信设计是一个更大的随机临床试验的一部分糖尿病与心理健康适应性通报跟踪与评估(DIAMANTE)试验(NCT 03490253) [31]。这项试验检验了一款智能手机应用程序的有效性，该应用程序使用强化学习算法来预测短信类别，这些短信类别最有效地增加了参与者的身体活动，考虑到参与者的上下文变量，如以前的身体活动，以及人口统计学和临床变量(如年龄、性别和抑郁评分)[32]。虽然我们计划在未来的研究中报告该试验的有效性结果，但本文解释了针对糖尿病和抑郁症共病患者增加身体活动的不同类别的激励短信的发展过程。短信的开发分5个阶段，包括众包反馈、研究团队反馈和UCD技术(即卡片分类、访谈和调查)。这个过程本质上是迭代的，因为每个步骤的发现都为后续步骤提供了信息。

消息开发阶段

这些消息是用英语和西班牙语创建的，并分5个阶段进行测试(图1)。

‎ 查看此图

阶段0:消息起草

这一阶段发生在2017年8月至2018年6月之间。为了使我们的干预基于对行为改变的促成因素和障碍的理解，我们基于社会认知理论的健康行为改变构建和文献中发现的移动健康干预的循证指南，开发了一个简明信息库(n=200)。得与失框架，近端结果框架)[33-37]。

第一阶段:可行性测试

这一阶段发生在2018年7月至12月之间。它包括一个可行性研究阶段，从安全网卫生保健环境中招募的讲英语(n=5)和讲西班牙语(n=5)的初级保健成年患者。所有参与者(10/ 10,100 %)被诊断为抑郁症，90%(9/10)患有糖尿病[30.，38]。对信息子集(n=34)使用混合方法进行测试，其中包括卡片分类任务和个人半结构化访谈。在卡片分类活动中，参与者被要求将英语或西班牙语的短信(取决于他们喜欢的语言)分为三组:喜欢的消息，不喜欢的消息，以及既不喜欢也不喜欢的消息(中性)。参与者还提供了将卡片放在特定一堆卡片中的原因。虽然卡片分类以前曾被用于在一组非专家(即大学生和工作人员)中验证专家开发的健康短信[39]，在我们的研究中使用这种方法需要对传统卡片分类协议进行修改，以适应我们的低收入患者群体[40]。例如，卡片上的信息子集是六年级的阅读水平。此外，访谈者修改了活动的管理，以适应识字或沟通障碍有限的参与者，通过提供视听线索，包括大声朗读卡片，并在阅读每张卡片后连续探索反馈[40]。

个别半结构化访谈包括一系列开放式问题，这些问题最终告知了信息的主题内容和信息特征[30.]。参与者还被问及他们认为的定期体育活动的障碍和促进因素。在这一可行性阶段结束后，所有信息(n=200)都被进一步细化，以纳入参与者反馈和行为改变的认知框架——能力、机会、动机和行为(COM-B)模型——并由研究团队成员编辑和翻译。

阶段2:初步测试

这一阶段发生在2019年1月至4月之间。它包括一项为期2周的技术接受试验，其中包括英语患者(n=4)和西班牙语患者(n=4)，这些患者患有糖尿病和抑郁症，来自与第一期相同的初级保健机构。参加者以滚动方式登记。该试点项目需要测试一部分信息(n=36)，这些信息基于第一阶段的结果(即来自卡片分类活动和访谈的患者反馈)进行更新。重要的是，这些信息在AA、CRL和Audacious Software为DIAMANTE试验开发的智能手机应用原型中进行了测试。32) (图2)。从完整消息库的每个理论类别中总共选择12条消息进行测试，以确保子集(n=36)能够代表我们的理论结构分类。此外，由于我们希望在消息传递中保持一些可变性，以评估自适应学习算法的影响，因此在前一阶段收到负面反馈的任何消息仍将在此阶段进行测试。研究小组成员监控参与者收到的信息。此外，团队成员在每个工作日的工作时间致电参与者，并在参与者选择的时间询问他们使用应用程序的经验，并对消息提供定性反馈。在移动健康研究中，个性化的实施方法已被推荐用于增强参与者的购买，以维持对干预的承诺，并最大限度地减少退出率[41，42]。因此，除了从参与者那里获得关于消息内容的定期可靠反馈外，我们还使用了每日电话策略来增强应用程序的参与度，并在试点测试期间最大限度地减少退出，特别是在说西班牙语的参与者和健康状况和数字素养有限的参与者中。

‎ 查看此图

阶段3:众包

该阶段发生在2019年2月至2019年3月之间。在MTurk参与者中调查了90条消息的子集(每个类别30条)，其中包括在第二阶段测试的36条消息和随机选择的54条消息，用于动机结构分类(表1)。尽管在第一阶段和第二阶段测试的少数消息(n=4)收到了主要的负面参与者反馈，但我们仍然将这些消息包括在MTurk样本中，以评估算法的影响。由于受教育程度与收入有关[43]，我们选择了高中或更低学历的参与者，以告知针对低收入用户的干预措施。MTurk参与者被要求阅读不同的信息，并根据所提供的例子和描述，尽可能地确定它们的类别(在3个主要的理论类别中:利益、自我效能和机会线索)。分类问题设置为选择题，3个类别作为可能的选项。选项的顺序不是随机的，但问题的顺序是随机的。计算每个参与者的英语和西班牙语分类问题的正确率(分数)。

第四阶段:专家评估

这一阶段发生在2019年4月。在丢弃基于第三阶段表现不佳的消息(n=10)后，研究团队成员使用5点李克特式量表对80条预选消息的质量进行评分，范围从1(质量差)到5(质量高)。这些评级是独立进行的，以减少偏见。此外，每个团队成员都能够看到整个原始消息集(n=200)以及阶段1、2和3的所有数据。

第五阶段:最终选择

最终的信息库(n=54)是根据团队评级、MTurk评分和参与者反馈选择的。2019年6月至8月，对最终的消息选择和最终的内容编辑进行了分析。

结果

阶段0:消息起草

我们操作了社会认知理论的结构(即自我效能和结果预期)[33，转化为实用的身体活动提示和技巧。此外，鉴于过去的研究表明，在过去身体活动水平较低的个体中，接触近期积极的运动结果会增加内在动机[34]，我们将大多数信息以近期结果为框架，并强调了与锻炼相关的积极健康感受[35]。此外，我们用a写了一半的消息获得框架，强调体育活动的好处，一半用损失制定框架，强调体育活动应该避免什么36]。健康传播研究表明得与失构建框架既能提高信息内容的参与度，也能改变行为。37，38]。最后，我们写了随后的消息个人主义，家庭,同行提示参与者增加他们目前的身体活动水平的方向，以及解决身体活动的环境限制的信息[44]。

此阶段(n=200)的消息是草稿形式。在随后的UCD阶段，我们对目标人群的身体活动障碍和信念有了更好的理解后，我们的目标是完善内容，因为我们预计参与者确定的信念和障碍与我们在文献中发现的信念和障碍之间会有一些差异。我们还试图确定任何与糖尿病和抑郁症相关的无声运动障碍，以及个人主义、家庭和同伴取向与参与者的共鸣程度。

第一阶段:可行性测试

阶段1包括实现最终用户(患者)参与的UCD框架，以获得定性反馈，使我们能够做出设计决策。这一阶段的详细结果已于先前发表[30.，40]。

卡片分类

对现有内容的反馈包括点赞信息，允许自我反思，为参与体育活动提供具体的想法，并具有很强的激励作用。一般来说，参与者不喜欢他们认为重复的信息。参与者还建议，坚持高度激励的信息和个性化的建议将加强内容。总的来说，在这一阶段评估的34条消息中，5条(15%)主要是被3名或更多的参与者喜欢，2条(6%)主要被认为是中立的，只有1条(3%)主要是不喜欢的。

定性访谈

主要研究结果揭示了3个主要的健康相关障碍:身体限制、慢性疼痛和抑郁。我们发现，体育活动的主要促进因素包括能够清楚地想象或理解参加定期体育活动对健康的好处，自我激励和鼓励从久坐不动的生活方式转变为积极的生活方式，并就如何参加定期体育活动提供建议。

理论包括

根据卡片整理活动的参与者反馈和定性访谈，我们确定了COM-B模型[41]作为信息分类和概念化的最佳理论框架。根据COM-B模型，行为改变是一个交互系统的一部分，该系统包括能力、机会和动机等关键要素。45]。该模型为有效的行为健康干预制定了一种机制:改变一个或多个这些组成部分，以重新安排系统，并将违约风险降至最低[45]。尽管COM-B模型来自社会认知理论，这是最初选择的信息理论基础，但我们将COM-B模型纳入其中，因为它允许与我们的干预设计进行更优化的链接，因为它更适合在我们的消息开发过程中组织机会线索。

因此，我们重新构建了草稿消息库，以适应3个COM-B模型构造[30.]。在针对能力构造，它受到指导行为的内部过程的影响，我们重构了提供关于确定的体育活动益处的信息的信息，以突出身体和社会结果预期作为体育活动的激励因素(72/ 200,36%)。的机会构式解释了允许变化发生的社会或环境因素。因此，我们决定重新定义现有的关于身体活动的环境限制的信息，以强调锻炼机会的线索或关于如何减少或规避这些限制的建议(例如，重新调整日常生活和规划社会支持;73/200, 36.5%)。最后，对于动机构建，这是由改变所必需的技能和知识所证明的，我们使用现有的信息，针对自我效能(55/ 200,27.5%)，通过建立自我管理技能和自我信念的动机和信心来锻炼(表2)。

此外，基于我们的目标人群中身体活动的共同限制因素的发现，我们整合了涉及身体症状(如疼痛)的内容，并重新构建了信息，以改善特定的抑郁症状，目的是增加行为激活。

阶段2:初步测试

概述

在该试点的初始阶段，我们评估了智能手机应用程序原型流的36条消息的代表性子集(3个理论类别每个12条)，我们发现患者倾向于不携带手机或不注意短信通知。然而，在试点几天后，患者普遍开始更加关注他们的手机，并更经常地随身携带手机。此外，尽管患者并不总是记得在研究助理打电话给他们时收到过短信，但所有患者都表示喜欢这些短信。总共75%(6/8)的患者报告说，他们对信息的时间不感兴趣。

此外，38%(3/8)的患者表示不喜欢将他们与他人进行比较的信息(例如，其他人有相同的病情，走的路更多)。25%(2/8)的参与者不喜欢与家庭成员一起锻炼或健康对支持家庭成员的好处的信息，他们报告说没有强大的家庭关系。然而，所有患者都报告说，他们感觉他们开始走得更多了，并且他们希望在两周的试验后继续接收信息。

在试验完成后，基于一些患者对暗示家庭成员支持的信息的负面评价，我们删除了任何提及“家人”、“同龄人”或“朋友”的信息，取而代之的是一个笼统的“亲人”短语。出于同样的原因，我们决定合并家庭和同行方向是社会因此将消息重新分类个人主义或社会．

编辑

消息编辑由第一作者执行。编辑的目的是保证所有现有消息的整体质量。第一轮编辑的重点是识别和纠正语法、拼写和标点错误，并将语法简化到较低的阅读水平。所有信息都被改编为六年级或以下的阅读水平(平均=3.5)。基于网页的可读性工具[46使用Flesch-Kincaid年级水平公式来衡量每条信息的阅读水平。分数高于6分的信息会被编辑，直到它们的分数低于六年级的分数线。第二轮编辑的重点是重新措辞，使信息更加简洁，以改善患者阅读它们的体验。由于标准短信可容纳的字符数为160个，因此将编辑和减少超过160个字符的消息以适应此参数。然而，由于研究人员在前一阶段已经确定了患者对较短信息的偏好，大多数信息已经在140个字符以下。

从英语翻译成西班牙语

双语研究人员将这些英语短信翻译成西班牙语。翻译后的信息还由一位母语为西班牙语、英语流利的人审阅。总的来说，所有的翻译都遵循文化敏感的沟通标准[47]。我们调整了语法、词汇内容和特殊短语，这些在之前的短信干预研究中已被确定为翻译的关键文化方面[47]。这意味着这些信息不是逐字翻译的;相反，它们被改编和重构，以考虑DIAMANTE研究的目标人群之一——来自拉丁美洲国家的说西班牙语的移民——的种族多样性和其他重要文化特征。因此，中立的西班牙语[48词汇被尽可能地使用，正式的西班牙语贯穿始终(例如，使用“usted”及其衍生的第二人称代词)。一个翻译键被开发出来，以标准化通常翻译的短语或单词(多媒体附件1)。在编辑过程中，对英语消息的任何更改都会同时应用于翻译后的西班牙语消息。降低英语内容识字率的类似措施也适用于西班牙语内容。

阶段3:众包

在这个阶段，我们向MTurk参与者提交了一个有代表性的消息样本(每个理论类别n= 90,30)，以测试和验证理论分类。MTurk测试使我们能够确保消息被标记在正确的激励类别中，因此，细化内容并选择最好的内容。平均58%(标准差0.21%)的信息被归入正确的类别。MTurk的受访者还对信息的整体质量进行了1到5的评分。评价最高的信息是那些在好处类别。总共有70%(63/90)的消息至少在50%的时间里被放在了正确的类别中。此外，11%(10/90)的信息产生了40%或更低的平均正确分类率。这些信息在后来的评价中被丢弃，因为它们的主题含糊不清。受访者平均在6.5分钟内完成调查(表3)。

使用MTurk的一个挑战是招募更多讲西班牙语的员工样本，以测试这些信息的理论分类。否则，我们的分类测试的任务需求很容易在平台的接口上实现。然而，当我们发现来自测试人员的关于消息内容的定性反馈要么是不完整的，要么是没有帮助的(即，没有反映我们目标人群的需求)，我们决定在第二轮测试之后停止这项任务。

第四阶段:专家评估

为了评估信息的内容充分性，所有合著者都独立地对第三阶段的高表现信息(n=80)进行主观质量评分，评分范围从1到5。合著者给这些信息的平均评分为3.6 (SD为0.59)，并且仅在3%(2/80)的时间内对给定的信息达成了质量评级共识。总共有60%(48/80)的消息获得了3.5或更高的评分。从每个合作者那里收集定量评分和定性反馈，并进行汇总分析。

第五阶段:最终选择

来自所有4个阶段的反馈被结合起来，以从4个阶段的预选子集(n=80)中选择最佳消息。将患者与具有相同病情的其他患者进行比较的信息被丢弃(4/ 80,5%)，这些信息在第1阶段和第2阶段的参与者中主要是不喜欢的。在剩下的消息中，那些在第三阶段至少有50%的时间被分类到正确的理论类别，并且在第四阶段的质量评分至少为3.5或更高的消息被认为是最清晰和影响最大的内容，应该包括在最终的文本消息库中。综合这些反馈，最终产生了54条消息，每种动机类别有18条消息。

讨论

主要研究结果

使用基于理论的UCD框架，包括将UCD方法与众包和专家输入相结合的迭代开发过程，我们生成了一个包含54条激励信息的库，用于在2年内对患有糖尿病和抑郁症的低收入少数民族患者进行身体活动短信干预。开发过程包括5个阶段:可行性测试、试点测试、众包、专家评估和最终选择。

经验教训

在UCD阶段(1和2)收集到的患者反馈是压倒性的积极:大多数患者报告对消息传递的时间没有偏好，乐于接受激励性短信，并报告希望在试点测试结束后继续接收消息。然而，用户反馈容易产生反应偏差，这种积极的反应可能是因为患者不想让研究人员失望。UCD阶段的发现特别有助于丢弃不吸引人的信息，并编辑与患者没有很好共鸣的信息的主题方面。例如，在第二阶段之后，我们将任何提及同伴或家庭关系的内容都重新表述为更广泛的社会类别(所爱的人)，该研究发现，自称没有家庭的参与者不喜欢暗示家庭支持的信息。我们在两轮UCD测试中合并的内容更改的数量强调了采取以用户为中心的方法来开发文本消息干预的重要性。MTurk测试第3阶段的结果表明，该平台是一种相对廉价、可访问且快速的消息分类验证数据源。因此，我们了解到众包方法在设计过程的某些方面很有价值，在这些方面需要更大的参与者群体，或者在寻求与内容无关的特定反馈时，例如在确定信息的正确主题分类时。因此，利用众包平台作为更容易获得和廉价的反馈来源是很有价值的。最后，我们发现专家的输入和审查(阶段4)为设计过程提供了凝聚力和可靠性，因为这一阶段包括对最终的消息集进行独立评级，以达成最佳消息的共识。在将理论和证据转化为简洁、引人入胜、可操作和激励性的信息时，这一点尤为重要。

优势与局限

本研究的优势包括基于现有科学最佳实践、健康行为改变和用户参与理论以及目标用户反馈的有说服力的信息的多阶段和循证发展。这个过程使我们能够设计内容来匹配和适应我们患者群体的相关需求。因此，我们以六年级或更低的阅读水平编写所有信息，在编辑和翻译过程中考虑了文化和语言的适当性，并测试了目标患者的可接受性和清晰度。然而，本研究存在一定的局限性。例如，UCD阶段的样本量很小，而且来自一个地理位置。然而，定性用户研究的目的不是产生可以推广到其他人群的结果，而是基于直接观察产生关于态度或行为的数据。事实上，我们研究中的UCD阶段被用来评估一组激励短信的可接受性和可用性，用于未来的体育活动干预研究，该研究是为低收入糖尿病和抑郁症患者的不同临床样本量身定制的。我们研究的第二个局限性是，尽管我们没有收集语言和居住国以外的人口统计信息，但MTurk的受访者不太可能代表我们的目标人群。因此，尽管上述从这个众包平台取样的好处，但对阶段4的结果进行了谨慎的解释，仅用于理论类别验证，而不用于通知后续的内容更改。第三个限制是MTurk受访者在理论类别验证任务中没有收到完整的草稿消息(n=200)，这意味着我们无法收集每条消息的分类评级。 However, we had raters assess only a subset of messages (n=90) as a measure to reduce the overall burden of the task and not overwhelm the respondents. We also noted messages with motivational construct ambiguity that were not tested in MTurk during the internal expert review phase and later discarded them from the final selection. A fourth limitation is that the MTurk categorization responses are subject to method bias as a function of low motivation; that is, participants may have not been willing or able to expend the required amount of cognitive effort and thus were less thorough in making accurate response selections. Online recruitment methods such as MTurk have been criticized as prone to yield samples full of low effort respondents [49]。然而，我们在内容验证阶段采取了可操作的措施来减少这种偏见，包括提供3个动机类别的清晰和精确的定义，并提供一个激励机制试验在MTurk参与者的入职阶段进行跑步。

未来的发展方向

本文详细描述了设计和验证移动健康干预措施内容的过程，该措施利用自适应学习算法提供优化和定制的激励性文本信息，促进身体活动。以前的研究使用了类似的方法来为健康短信的发展提供信息，例如基于行为改变理论的信息起草[16，23]及公共卫生指引[18]、调查参加者的偏好[23]、焦点小组及专家评估[18]，以及最终用户对内容理解程度和吸引力的评分[16]。然而，本文所描述的过程是独特的，因为它集成了以前在文献中报道的各种设计方法，并通过MTurk将众包作为替代内容预测试方法。这一点很重要，因为除了关注可用性、参与度和实施之外，一般的干预开发替代方法，特别是短信内容，在移动健康领域是一个很大程度上尚未开发的探索领域。因此，本文有助于推进移动健康研究，解决干预设计过程，包括内容预测试方法，这在文献中通常没有详细说明[17]。然而，仍然需要对短信干预设计方法进行研究，特别是探索如何将行为健康理论最好地整合到短信内容中。还需要继续评估新的内容测试经验模型，包括那些利用众包和在线招聘方法的模型，如亚马逊的MTurk和Facebook。

结论

我们提出了一个新颖的综合框架，将UCD、专家输入和众包结合起来，以确定、创建和改进智能手机应用程序的短信内容，以增加低收入、英语和西班牙语抑郁症和糖尿病患者的身体活动。这为未来健康短信干预的开发者提供了一种基于研究的设计方法。这个框架可以潜在地扩展到针对其他弱势群体和健康行为的移动健康项目。