使用会话代理改善在线健康信息的访问:一项随机对照实验

简介

大多数美国成年人上网查找健康信息[1，2］．然而，在使用互联网查找健康信息方面仍然存在差距[3.，4］．造成这些差异的一个具体原因可能是基于关键字的搜索引擎，如谷歌，尽管是大多数用户的主要搜索门户，但实际上对许多处于不利地位的个人来说可能是一个重大障碍。先前的研究表明，卫生素养较低的人获取卫生保健相关信息并采取行动的能力[5，6]，在使用基于关键字的搜索界面时尤其困难。同意等[3.]表明，健康素养较低的个体在使用这些界面在Web上搜索一般健康信息时成功率较低。健康素养较低的人群的可用性很重要，因为这一人群占美国成年人的36% [5］．

除了通用搜索引擎之外，还为特定种类的医疗保健信息开发了许多搜索引擎和接口。一个例子是临床试验搜索引擎，它从存储库或数据库中检索临床试验的描述[7］．网上有几个这样的搜索引擎，它们是由商业公司和美国政府开发的(例如，国家癌症研究所[8])。个人使用这些搜索引擎来寻找他们可能有资格和他们可能有兴趣参与的试验。宇见等[9]发现，与健康知识水平较高的人相比，健康知识水平较低的人发现的临床试验较少，使用基于网络的临床试验搜索引擎完成标准化搜索任务所需的时间更长。健康素养较低的人群对临床试验搜索引擎的可用性尤其重要，因为在这一群体中，少数族裔的比例不成比例[10-12导致弱势群体获得临床试验信息的机会减少。尽管基于网络的临床试验搜索引擎有望提供普遍的信息获取，但传统的搜索系统可能会进一步扩大临床试验招募方面的差距，因为它主要迎合了受过良好教育、具有较高健康水平和计算机素养的人群。

传统的基于Web表单的搜索引擎用户界面(例如谷歌)通常只使用用户提供的关键字，而其他的则将关键字输入与多项选择选项结合起来，称为“基于面”的搜索界面[13］．一些先前的研究已经调查了这些搜索界面对于低领域知识用户的使用[14]，他们所使用的语言不同于Web表单[15]，他们是儿童[16]，或年长人士[17]，所有这些人都与我们的任务和人口有相同的特点。这些研究表明，即使是最简单的基于关键字的搜索界面对许多用户来说都是不可用的，而且需要特殊的设计考虑，例如简化结果[17]并提供语言及互动支持[16-对弱势用户很重要。用户在评估搜索引擎的结果时，也可能受到上下文线索的影响[18]，而那些健康知识水平较低的人在评估搜索结果时，可能特别容易受到这些线索的影响，他们依赖的特征包括搜索结果中的位置、图片质量和名人代言[19］．

在本文中，我们描述了一个基于web的临床试验搜索引擎的设计，我们设计它来减轻与低健康素养相关的障碍。搜索任务的框架是与一个动画角色的对话，使其尽可能熟悉和接近，并进行了一些额外的功能和简化，以帮助健康知识水平较低的用户导航整个临床试验搜索过程。我们进行了一项随机试验，将对话式搜索引擎与现有的传统基于web的搜索引擎进行比较。

对话式搜索引擎的设计

对话搜索引擎支持的总体任务是根据初始人口统计标准，使用公开的信息，找到一个或多个用户有资格参加的癌症相关临床试验。搜索引擎索引来自美国国家癌症研究所(NCI)数据库的超过10,000个活跃试验(在进行这项工作时)[8］．

基于我们为健康素养较低的患者开发多个健康咨询对话系统的经验[20.]，之前的研究表明，视听信息与会话风格相结合的用户回忆更大[21]，与文字相比，动画与语音相结合[22]，我们将整体交互设计为一个与具身对话代理的对话[23］．代理使用合成语音说话，合成语音由基于增强转换网络的对话引擎生成[24]，基于模板的文本生成[25]，以及动态更新的用户模型，并伴随着与语音同步的会话非语言行为(例如，手势，面部显示，凝视)[26) (图1)．代理还操纵它与用户讨论的工件;在这种情况下，代表正在讨论的临床试验方面的文件。用户对对话的输入仅限于从一个列表中选择多选题，该列表在每次对话期间都会动态更新。因此，交互是系统在对话邻接对级别上发起的(例如，代理问题/用户响应)，但用户主动是通过允许用户选择对话主题并从预定义的列表中选择在对话中的预定义点提问来提供的。在临床试验中，我们已经成功地在一千多名患者身上使用了这种界面模式，其中包括数百名健康知识水平较低的患者，以及许多以前从未接触过计算机的患者[20.，27］．由此产生的系统可以被描述为一个“全方位”的搜索界面，在这个界面中，用户永远不会被要求回忆和键入文本，而是始终与他们可以输入的可能范围相关联[13］．

整个搜索体验被构建为一个扩展的对话，在这个对话中，首先对用户进行询问，了解他们的需求和偏好，然后向用户展示候选试用，代理在整个过程中提供尽可能多的框架(通过教程、解释和建议)。鉴于临床试验描述对用户来说可能非常复杂和乏味，我们在搜索之前从用户那里获得尽可能多的信息，以试图确定最合适的试验，这是错误的。此外，我们设计的系统可以分阶段显示试验信息，只显示用户在每个评估点所需的详细信息。典型对话的整体流程如图所示图2．

为了定义代理从用户那里引出的搜索标准，我们利用了可用性研究中的定性发现[9］．这项研究的参与者被要求在成对的临床试验描述中进行选择，然后被要求解释他们的基本原理。基于扎根理论的解释分析[28]揭示了信息寻求实践和审议主题。我们交叉引用了本研究中用户提出的搜索标准偏好的结果列表与NCI数据库中的临床试验方案。我们发现一些用户标准已经作为数据库索引存在，包括参与者年龄、性别、癌症类型、研究地理位置、试验类型和阶段，以及研究药物的使用。额外的用户标准不存在作为数据库索引，但可以通过数据库中文本字段的文本分类来推断，包括对参与研究将涉及痛苦程序的可能性的主观评估，对方案侵入性的主观评估(例如，调查vs诊断vs治疗)，以及总体时间承诺。这些推断标准(疼痛、侵入性和时间负担)基于决策树算法(ID3 [29])，在试验描述文本中使用了单词出现的特征，这些文本是在手工评定的示例上训练的。在我们的运行时临床试验搜索算法中，可以映射到现有数据库索引的搜索标准用于搜索数据库，而通过文本分类推断的标准用于对结果排序。

除了整体结构的交互作用所示图2，我们在搜索用户界面中加入了几个功能，以帮助文化水平较低的用户进行搜索:

1. 词典:NCI网站为用户提供医学术语词典;然而，该词典可作为独立于搜索引擎的模块在NCI网站上获得。在我们对该网站的用户研究中，我们发现查找定义经常分散用户的主要搜索任务。我们在搜索功能中集成了字典;虽然代理会向用户解释搜索结果，但角色会自动从文本中提取困难的术语，并提供解释。
2. 大声朗读:用户可以要求代理大声朗读，并在必要时重复任何临床试验文本或定义。在大声说话时，代理会显示文本的可视化，使用户能够跟着阅读。
3. 简化的标题:临床试验的标题可能很长，很复杂，很难记住。我们使用试验的阶段和类型以及试验的癌症类型简化了显示标题(例如，将“BFTZ2252在非小细胞肺癌受试者中给予Patanobib或Dopepaxel的研究”替换为“肺癌II期治疗试验”)。
4. 教育模块:代理提供解释临床试验基础的几个概念，如自愿和风险，在搜索的适当点。
5. 用户搜索条件确认:代理定期显示用户的搜索条件，并允许用户修改自己的选择。这是在最初的访谈之后，在每个匹配的临床试验被讨论之后，以及每当代理耗尽试验向用户展示时进行的。
6. 查询细化:如果搜索没有返回结果，或者用户耗尽了索引的试验列表，代理会建议修改搜索条件的方法。
7. 书签:用户可以保存临床试验的参考资料，以便在后续的搜索过程中进行回顾。
8. 视图摘要:代理定期显示在搜索会话期间查看的试验列表，并突出显示带有书签的试验。
9. 细节级别:每个临床试验描述都以3个级别的细节与相关显示器进行展示。用户最初只显示试用的标题和资格标准(参见图1)，但随后他们可以选择查看试验研究目的，之后他们可以选择查看试验程序的细节。

‎ 查看此图

‎ 查看此图

研究的目的是

这项工作的总体目标是开发一个基于web的搜索界面，使健康状况不佳和计算机知识水平较低的人更容易使用。我们假设，与传统的基于关键字和方面的搜索引擎相比，对话式搜索界面将为所有用户带来更大的搜索成功和更高水平的满意度，但对于健康素养较低的个人来说，这种差异将尤其明显。

方法

为了评估我们的系统，我们进行了一项受试者间随机试验，将我们的对话代理搜索引擎(“代理”)与NCI开发的传统基于面和关键字的搜索引擎(“对照”)进行比较([7])，这两个搜索引擎界面的索引都是同一组临床试验。参与者是从一群讲英语的成年癌症患者中招募来的，他们的文化水平各不相同。参与者已经记录了社会人口统计指标，并完成了弗吉尼亚联邦大学先前研究的健康素养评估。该研究方案由波士顿医学中心和弗吉尼亚联邦大学IRBs批准，并获得所有研究参与者的知情同意。健康素养评估采用成人医学素养快速评估(REALM) [30.］．与其他作者所做的一样，以9年级的REALM分数为分界点，将参与者分为适当健康素养组和不适当健康素养组[31-34］．

我们要求参与者执行两个搜索任务。在任务1中，参与者被要求搜索一个他们暂时有资格参加并感兴趣的临床试验。在任务2中，他们被要求搜索具有特定资格标准(即年龄，癌症类型，试验类型，地理位置)的其他人的试验作为标准化测试，以便我们可以确定他们发现的任何试验是否符合指定的标准(文本框1)．

为了确保计算机和健康知识水平较低的参与者也能使用，我们设计了实验，使他们能够在实验室(对于那些没有计算机的人)或家中进行研究。实验软件首先为参与者提供了一个关于使用系统的简短教程，包括一个练习任务。然后显示第一个搜索任务。为了完成每个任务，参与者被重定向到另一个具有代理或NCI搜索引擎(图3)．如果参与者发现了一个试验，他们在文本框中输入临床试验ID号，然后点击“我发现了一个试验”按钮。如果他们找不到试验，他们就点击“我找不到试验”按钮。一旦用户完成了每项任务，他们就会被提示填写一份网络问卷，其中包含了研究措施。在完成每个任务时，前7个问题表1通过Web表单自动管理。参与者还被要求在每项任务后回忆他们检查过的试验的数量以及符合他们标准的试验的数量。Web服务器还捕获参与者发现的临床试验ID(如果有的话)和完成每个任务所需的时间。完成两项任务后，剩下的5个问题(8-12题)表1)由研究助理口头管理(对于亲自进行研究的人)或通过电话管理(对于远程进行研究的人)。在家完成研究的参与者是在没有在线帮助的情况下自行完成的，并在完成在线任务后的36小时内被通知以获得最终结果指标。非参数统计(频率卡方检验和曼-惠特尼检验U考虑到数据的性质和大多数分布的非正态性，使用了所有其他测量的测试)。

‎ 查看此图

结果

参与者社会人口统计信息见表2．共有89人参与;平均年龄59.2岁(标准差9.8岁)，46%(48/89)为女性，27%(23/89)健康素养较低。98%(87/89)的参与者报告了当前的癌症诊断:32%(28/89)为血液癌，14%(12/89)为乳腺癌，14%(12/89)为泌尿生殖系统癌，14%(12/89)为头颈癌，10%(9/89)为肺癌。大多数(70%，62/89)报告经常使用计算机和基于网络的搜索引擎(52%，46/89)。尽管只有21%的人(19/89)报告曾参加过癌症相关的临床试验，但52%的人(46/89)表示有兴趣参与其中。大约一半的参与者(48%，43/89)被随机分配到药物条件。在89名参与者中，53人(60%)在实验室进行了研究，36人(40%)在家通过网络进行了研究。少数参与者由于技术或其他问题无法完成部分任务(17%，14/89)。初步研究结果见表3．

任务1所有参与者的结果

在最初的任务中，参与者被要求为自己找到一个临床试验。大多数参与者在开始这项任务时都不清楚自己想要什么，在1到7的范围内，他们对自己想要的东西的了解程度平均为2.8 (SD 1.9)。然而，药物组45%(19/42)和对照组31%(14/45)成功找到试验;两组间差异无统计学意义(χ²₁= 1.8,P=点)。在代理条件下，参与者认为这些试验与他们所寻找的东西匹配的程度明显高于对照条件(平均3.7,SD 1.6 vs平均2.7,SD 1.8，U= 465,P= . 01)。与传统界面相比，参与者对代理的满意度明显更高(评分平均值4.9,SD 1.8 vs平均3.2,SD 1.8，U= 363,P<.001)，感觉沮丧感明显减少(评分平均2.1,SD 1.7 vs平均3.7,SD 2.2，U= 405,P<.001)和更满意(评分平均5.1，标准差2.1 vs平均3.4，标准差1.9，U= 380,P<.001)，与对照条件下相比。

亲自完成研究的人与在家完成研究的人的结果没有显著差异。

任务2所有参与者的结果

在第二项任务中，参与者被要求找到一个满足预先设定的标准的临床试验作为标准化任务。虽然制剂组中48%(20/42)和对照组中40%(18/45)声称发现了符合标准的试验(χ²₁= 0.5,P=.52)，分别只有43%(18/42)和31%(14/45)的检验结果正确(χ²₁= 1.3,P=陈霞)。然而，与对照组相比，药物组的参与者认为他们发现的试验更符合标准(平均4.8,SD 1.7, vs 3.4, SD 1.9，U= 381,P<措施)。与任务1一样，代理组的参与者明显更满意(评分平均4.8,SD 1.9 vs平均3.2,SD 1.7，U= 336,P<.001)和满意(评分平均4.6，标准差1.8 vs平均3.1，标准差1.7，U= 358,P<.001)，并且沮丧感显著减少(评分平均2.6,SD 1.9 vs平均3.8,SD 2.2，U= 429,P=.01)。

与任务1一样，与传统接口相比，使用代理进行搜索往往需要更长的时间(平均8.2,SD 5.3分钟vs平均6.4,SD 4.3分钟)，但这并不具有统计学意义(U= 507,P= 0。06)。然而，与传统界面相比，参与者认为代理花费的时间明显更少(平均4.2,SD 1.1 vs 5.1, SD 1.7，U= 466,P= 03)。

低健康素养参与者的结果

表4显示了24名健康素养较低的参与者的研究条件结果。结果与所有研究参与者的结果非常相似(表3)，但有一个明显的例外:在标准化任务(任务2)中，没有一个低文化水平的参与者能够使用传统界面找到符合给定标准的临床试验。然而，36%(5/14)的低文化水平参与者能够找到使用该药物的正确临床试验。差异接近显著性(χ²₁= 3.7,P= . 05)。

在所有研究条件下，分析低健康素养和高健康素养参与者之间的差异，发现了一些显著差异。总体而言，与健康素养高的参与者相比，健康素养低的参与者更有可能表示他们阅读的试验满足他们的标准(任务1:74% vs 37%，U= 82,P<措施;任务2:77% vs 49%，U= 148,P= .02点)。健康素养较低的参与者更有可能表示他们会报名参加任务1中的试验(平均评分3.8,SD 1.4 vs平均评分2.8,SD 1.8，U= 380,P=.048)，他们会向朋友推荐这个系统(平均评分5.7,SD 2.3 vs平均评分4.5,SD 2.3，U= 379,P=.01)。

讨论

主要结果

在我们将基于对话的代理搜索用户界面与传统的基于关键字和方面的搜索引擎界面进行比较时，参与者对代理更满意，并且认为代理比传统界面更善于找到符合他们标准的试验。与传统界面相比，参与者在与代理交互后感到更高兴，更少沮丧。

在我们的标准化任务(任务2)中，值得注意的是，没有一个健康素养较低的参与者能够使用传统的搜索引擎界面找到正确的临床试验，而36%(5/14)的参与者能够使用对话代理找到正确的临床试验。这些结果加强了我们早期的发现，即传统的搜索界面对于健康状况不佳或计算机知识水平较低的人来说是无法使用的[9］．令人鼓舞的是，对话界面能够为至少三分之一的用户提供可访问性，同时所有用户(包括卫生素养高的用户)对该界面的满意度评价更高。尽管如此，为了在更大范围的人群中取得成功，对其他适应性的研究似乎是有必要的。

与传统界面相比，会话界面确实需要更多的时间来使用:任务1长40%，任务2长27%(尽管这些差异在统计上不显著)。这有几个原因:听语音提示而不是阅读提示所需的时间，代理为获得搜索标准而进行的访谈，以及代理使用的社交对话、教程和其他“任务外谈话”来提高可接近性、参与性和理解力。然而，我们的目标用户群体显然很乐意花额外的时间在对话用户界面上以获得更好的结果;在浏览任务中，与使用传统界面的人相比，他们选择花几乎两倍的时间来寻找试用版。此外，他们在任务2中所花费的时间的主观印象表明，用户觉得会话代理界面实际上比传统界面花费的时间要少得多。

限制

我们的研究除了参与者人数少之外，还有几个局限性。在我们的研究中，一些使用者(21%)以前曾参与过临床试验，因此不能代表癌症患者的一般人群，因为他们对临床试验的背景知识可能高于平均水平。然而，有试验经验的人被随机分配到两个试验组，所以两组在这方面应该是相等的。另一个局限性与使用REALM作为卫生知识普及的衡量标准有关。尽管这一工具成功地区分了参与者对我们干预的影响，但其他措施可能会提供更精细的能力，以深入研究电子和计算机素养的特定维度。尽管电子健康素养量表(eHEALS)是为此目的而设计的，但它是一种主观的自我报告测量方法[35］．在当前的研究中，我们选择了一个客观评分措施;未来的研究需要进一步区分对话搜索界面如何改善低健康水平和计算机素养的各个方面。

与之前工作的比较

一些研究已经调查了为低领域知识的用户使用标准的基于关键字的搜索界面[14]，他们说一门外语[15]，他们是儿童[16]或年长人士[17]，这些都与我们的任务和人口有共同的特点。这些研究表明，即使是最简单的基于关键字的搜索界面对许多用户来说都是不可用的，而且需要特殊的设计考虑，例如简化结果[17]并提供语言及互动支持[16)，对用户来说很重要，尤其是那些健康状况不佳或不懂计算机的用户

其他研究调查了使用对话代理向健康素养较低的个人传达健康信息。比克莫尔等[20.，36]及王等[37为健康素养较低的个体开发了身体活动宣传、出院指导、医疗文件讲解和家庭病史了解等会话代理。这些研究大多表明，健康素养较低的参与者与健康素养较高的参与者相比，对对话界面的满意度显著更高。

结论

我们的研究结果表明，对于许多类型的应用程序，对话式的基于代理的搜索引擎界面可能是传统的基于Web表单的界面的一个很好的替代品，特别是对于那些针对低健康素养用户或计算机经验或技能有限的用户。