从web规模的发现服务中检索信息的上下文模型的设计和评估，以改善卫生保健从业人员的循证实践:混合方法研究

简介

背景

循证实践(EBP)代表临床病人护理过程中研究证据、临床经验和专业知识以及病人价值或偏好的融合[1]，如图所示图1．本研究引入了一种使用设计科学研究(DSR)建模的研究证据的上下文方法[2因此医护人员可以改善EBP。

一项涉及公立和私立医院439名护士和医生的研究发现，临床医生的行为与对信息系统研究证据的利用之间存在正相关[3.］．然而，这项研究的结论是，医疗保健从业人员需要更多的支持来使用研究证据系统。

在不同的出版平台上有无数的循证临床信息资源，这些资源的使用因从业者而异，如图所示图2．

电子资源本身被分类为期刊、书籍、数据库和临床决策支持参考文献，每种分类都有许多相关的出版商、供应商和电子服务提供商。对于需要患者护理、医学研究和专业发展信息的临床医生来说，了解并从所有这些电子资源中检索信息具有挑战性[4］．

在21世纪初，联邦搜索系统在一定程度上解决了这个问题;然而，由于它们与每个发布者平台实时连接，因此不可靠且速度较慢，导致用户等待数分钟才能看到结果，或者当连接器失效时完全错过结果。5］．

循证临床信息传统上是Web搜索引擎无法访问的授权内容，因此Web-scale discovery (WSD)服务满足了信息检索的差距，这些服务包括2007年OCLC(在线计算机图书馆中心)的WorldCat Local, 2009年年中来自Serial Solutions的Summon, 2010年EBSCO discovery Service (EDS)，随后是Ex Libris Primo Central和Innovative接口Encore Synergy [6］．

水务署以服务为本的解决方案提供方便用户使用的搜索界面、相关性排名和大型集中索引，可让用户快速同时进行搜索[7］．图3利用图2并说明水务署如何透过索引获授权的元数据内容，让临床医生可透过屏幕上的单一介面检索这些元数据，以解决电子资源碎片化及未知的问题。通过将大量数据库中的内容预先收集到单个索引中，WSD工具提高了联邦搜索工具的速度、重复数据删除能力、相关性排名以及可访问的内容数量[8］．水务署的服务遍及全球;例如，EDS在100多个国家的11000个机构中使用[9］．

‎ 查看此图

‎ 查看此图

‎ 查看此图

问题识别和研究动机

以医疗界为例，一项健康科学研究比较了水务署三家供应商的服务，结果显示，水务署的服务在检索相关资料方面，没有一项服务绝对更有效，一般用户找到足够资源的可能性为50%至60% [7］．

何猷烽在介绍水务署时，曾进行一项研究，揭示了多项需要透过新研究进一步解决的不足之处[10]，即(1)搜索产生的结果太多，让用户不知所措;(2)对象类型和格式造成混乱;(3)用户体验到噪音;(4)用户需要使用限制符来检索特定信息。

在向所有临床医生群体提供相同的电子资源方面也存在挑战，正如一项研究[11]对医生和护士的信息传递需求进行了比较，发现医生在临床实践中从护士那里访问不同的在线资源时，在行为和动机方面存在显著差异和巨大差距。

文章来自医学互联网研究杂志自2010年以来，讨论了研究证据和卫生保健专业人员在分娩时寻找、评估和应用新兴证据时面临的障碍[12］．作为提高EBP采用率的一种手段，卫生保健组织采用了几种策略，如地方协商一致进程、分发教育材料、外联访问和提醒;然而，缺乏时间、感觉上的困难和非直观的平台都被列为问题。13］．基于网络的知识资源对获取循证资料有重大影响，这与2010年水务署服务使用率的增长呈正相关。[14］．

这可以通过比较来推断图2而且图3尽管wsd为医疗保健从业者提供了信息检索的单一入口点，但对于需要上下文的个人和临床组来说，聚合内容的数组变得有问题，否则他们将直接使用各种内容平台。

目标和解决方案目标

本研究旨在开发和评估一个模型[15]，以改善水务署服务的资料检索工作，使医护人员可以根据研究证据的需要，更好地采用EBP。该模型为现有的水务署服务引入上下文层，在检索信息过程中预先捕捉和整合临床医生的上下文，以减少信息的模糊性[16］．

上下文层改进了基于Cole将信息与知识联系起来的信息检索的信息需求理论的具有计算机科学视角的知识制定或获取系统的wsd [17］．图4中水务署的部分图3，并举例说明如何在用户和水务署之间增加上下文层，以满足表1源自上述文献。

‎ 查看此图

文献综述

本节回顾了之前的工作，包括与本研究相关的实践问题和发现。同时探索先验知识和人工制品，试图解决范围知识缺口的类似问题。最后，本文建立了一个基于文献的概念框架来指导本研究。

基于证据实践的网络规模发现服务的问题

如所示，寻找和检索研究证据是EBP的重要组成部分图1，但一项相关研究[4]发现，除了时间之外，EBP的三大障碍是不熟悉书目数据库、难以获取研究材料以及看不到研究对改进实践的价值。

为了尽量减少这些障碍，水务署的服务提供了许多资源的大型集中索引、查找信息的相关性排名算法和提供类似google体验的用户友好界面。虽然学术界和公营机构普遍采用水务署的服务，但医疗机构却很少采用这些服务。[7］．

总部位于美国的梅奥诊所是一家医疗保健机构，他们希望采用WSD，并公布了他们的分析结果，因为他们评估了“通过单一入口点提供快速、高效和全面的搜索体验的承诺”。梅奥诊所水务署工作组当时决定放弃购买水务署的服务，因为这些服务的收集和用户主要集中在医学和保健学科内。缺乏满足用户需求和期望的必要条件;然而，该研究承认，未来的任何评估都应考虑试验，因为服务的可定制性。18］．

除了医疗保健特定的信息需求，一项关于研究信息需求和障碍的研究[19]发现，初级保健医生和医院医生之间的需求存在显著差异，因为他们的咨询类型不同。为了增加信息需求的复杂性，研究人员比较了医生和护士访问在线数据库的情况，得出的结论是，两组之间的行为和动机有显著差异[11］．这对水务署的服务来说是个问题，因为他们为所有医护人员提供一个单一的入口点，并依赖于相关性算法，而Hoy的研究所建立的相关性算法是不够的[10］．

解决问题的优先人工制品

一项比较卫生保健科学的3种WSD的研究发现，在返回卫生科学研究的相关结果方面，ex Libris Primo、ProQuest的Summon和eds这3种WSD服务中，没有一种是压倒性地更有效的[7］．

根据一项针对护理癌症患者的卫生保健从业人员的信息需求的研究，人们开发了一系列信息系统，但大多数都未能满足信息需求。在他们看来，一个可能的原因是系统的开发没有尊重和分析从业人员的信息需求[20.］．

Narayanan在2017年12月发表的一篇文章中，回顾了水务署服务的现状，包括前面提到的服务和OCLC WorldCat发现服务，并得出结论，尽管它们产生了积极的影响，但相关性和个性化等以用户为中心的需求并不存在[21］．

不过，在过去，与水务署服务相比，系统的数据集较小，曾尝试以用户为中心或对上下文敏感的信息搜寻。例如，萨帕洛娃试点了一个联邦搜索系统，该系统考虑了51名临床医生的信息需求。临床医生发现搜索系统易于使用和直观;然而，一个关键的反馈是个性化特征，因为该研究得出结论，临床信息系统的成功采用取决于其人力、技术和组织的适合性[22］．

在书中实现网络规模的发现服务——图书馆员的实用指南，汤姆逊详述使用后端管理工具的水务署服务可提供的自订及配置功能的级别[23］．然而，这并不能满足用户和组的上下文需求，但它回避了实现上下文模型以扩展或改进来自WSD的信息检索的可能性。

需求缺口

上述文献表明，进行了重要的研究，以确定水务署服务的状态，以促进医疗保健从业人员的EBP，并表明信息检索系统缺乏功能，以满足本研究的要求。表2演示了在文献中确定的系统之间的功能差距。

概念框架

使用信息需求理论，本研究与文献综述中讨论的先前尝试相比，试图以不同的方式开发解决方案人工制品。卫生保健从业人员使用循证临床信息为患者提供护理，进行临床研究，并填补知识空白。wsd是连接临床医生的信息需求和知识的中心，文献揭示了wsd的两个主要功能，即资源或知识的聚合和使用算法进行搜索的便利。我们需要一个上下文层来改善信息检索，为此我们可以参考科尔的信息使用理论。图5展示了以下类型如何向内分层，如洋葱皮:

1. 预聚焦:用户为一个新主题借用一个现有的框架，这个框架可以基于相邻的主题、类比或存储在内存中的知识。
2. 聚焦:聚焦形成主题，主题展现自己的框架。
3. 充分开发了信息需求框架来管理主题搜索。

实现用户的前聚焦、聚焦和后聚焦的内在旅程，将有助于形成改善从wsd中检索信息所必需的上下文框架。将这些属性应用到上下文模型中是将面向用户的视角纳入这项研究的核心，Cole [17］．

在检讨水务署各项服务的推行时，我们发现这些系统显然可按客户的需要而订定;然而，其背景仅限于制度层面。本研究的一个关键目标是改进当前的系统，并在临床组和用户层面提供个性化或上下文，如图所示图6．

‎ 查看此图

‎ 查看此图

方法

范式

本研究采用建构主义范式，以维持适当的研究哲学[24］．它是一种范式，鼓励研究人员的直觉思维和猜测，研究人员应该自己发现和学习原则、事实和概念。

设计科学研究

本研究将使用DSR方法(DSRM)，该方法属于建构主义范式，用于开发解决方案工件模型，作为更大上下文的一部分[25来解决本研究中前面描述的问题。在本研究中，为解决问题而创建的人工制品或上下文模型[26]是一种创新的方法，将上下文应用于从wsd中检索信息，以作为EBP的一部分来改进研究证据。

参考的知识贡献框架图7，本研究属于改进象限[27]，因为它通过开发一种创新的人工模型，规定了从wsd检索结果的上下文方法，解决了临床医生和卫生保健专业人员在从wsd检索EBP的循证信息时面临的已知问题。

基于多个个案研究，使用数字记录管理进行改进是一个已被证实的原则[2］．

中阐述的DSRM图8由6步标称过程序列组成，这些序列基于后续过程的发现迭代地相互作用[2］．在第一步中，问题和解决方案的动机被确定，在本研究的介绍部分中描述。

接下来是定义解决方案目标(本研究的目标部分)，它作为创建工件的设计和开发的输入。工件的版本是通过迭代原型开发的[28]，用于解决演示步骤中的问题。

评估步骤包括基于有效性、效用、质量和功效来确定工件的有用性。本研究采用技术风险与效果策略[29]用于迭代的人工形成性评价。基于收敛访谈的自然主义总结性评价[30.]被用来确定人工制品的有效性和效用，与5名积极从业超过15年的医疗保健从业人员一起。确定的焦点小组[31]由5名在数字医疗领域从事学术研究至少3年的博士级健康研究人员组成，并对转录内容进行定量分析[32以确保有意义的讨论来支持小组的结论。

本研究结果采用Gregor [27为现有的知识体系做出贡献。

‎ 查看此图

‎ 查看此图

人工制品的描述

到目前为止，这项研究已描述了使用电子数据册的需要，以及水务署如何解决查阅研究证据的问题，详见图2而且3.，但目前的服务存在一些问题。图4提出了一项改进，将上下文层应用到Cole的以用户为中心的系统模型，而不是以计算机科学为中心的系统，如图所示图5．图9根据这一理论的逐步发展，提出一个与现有水务署服务相结合的模式。

从插图的最右端开始，用户首先借用一个用于预聚焦信息检索的框架。对于没有上下文模型的WSD服务，框架是作为WSD实现的一部分配置的机构级上下文。对于实现上下文模型的水务署服务，通过允许用户借用同行的框架，可以进一步为用户个性化框架。更深入地关注，用户的焦点作为用户自己的信息需求的一部分制定，直到信息需求完全形成后焦点，以捕获上下文并将其与查询一起提交，以检索适用于用户上下文的结果。

然而，开发上下文是一个预先关注的步骤，在这个步骤中，如果没有可用的WSD，模型允许机构通过分析资源需求，迭代地开发临床组模板，以便在组模板存储中借用。这些初始模板满足模型采用组上下文的需求，以帮助创建信息检索范围。

然后，单个用户可以选择个性化模板并定义更特定的用户上下文，该上下文存储在用户首选项数据存储中。这为上下文引入了持久性，因此用户不必每次在WSD上启动新会话时都定义上下文。只要系统识别出用户，就应用上下文。

模型的数据收集和分析是通过观察和迭代原型的改进来完成的[28］．模型的实例化是在EDS [33]使用其应用程序编程接口(API)来迭代地原型化上下文层。移动优先前端使用了HTML、CSS和JavaScript等Web技术的组合。服务器端使用PHP，而谷歌Firebase [34用于认证和存储。

在有上下文层和没有上下文层的结果的观察和比较的基础上，模型和随后的实例化被改进了几次，直到观察到模型对从WSD检索的信息有影响，以满足R1到R5。

‎ 查看此图

结果

评价概述

一旦观察显示有足够证据表明原型作为上下文层与非上下文状态相比满足从水务署检索的信息的R1至R5，则在现实世界中与选定的医疗保健从业人员使用收敛访谈对实例化进行评估[30.]进行总结性评估，随后由健康研究人员组成的验证性焦点小组。

示范

根据DSRM，演示被用来解决问题，观察结果，并开发上下文模型的实例化或原型[2］．

第一步是识别用户。所开发的原型允许用户使用GitHub、Twitter或Facebook等提供商登录图10．一旦用户授权实例化来识别用户，它就会检查用户是否已经借用了一个框架，或者是否应该应用默认的机构框架。

用户将看到通过WSD API提供的所有过滤器，如果之前借用过框架，则会自动应用用户上下文。如果用户第一次登录到实例化中，则没有任何筛选器被预先选择，并且默认框架是机构框架。用户可以选择定义上下文或从预定义的框架中借用上下文。原型显示于图11包括全科医生、护士、物理治疗师、医学研究人员和心理学家的框架。该模型允许机构定义和展示任意数量的框架来借用。

通过EBSCO WSD来定义上下文的设置包括数据库、源类型、主题、发布和发布者。水务署的这些设置与其他供应商有所不同。

用户没有必要立即定义一个完整的上下文，这可以是一个渐进的过程，因为原型将存储选择以供将来参考，允许逐步细化上下文。

截图图12显示了从带有上下文层的原型检索的信息(左)与没有上下文层的结果(右)之间的比较。这个例子借用了全科医生框架来提交查询“脂肪肝治疗”。带有上下文层的示例(左)检索了5101个结果，并且在活动facet部分下可以看到上下文。没有上下文层的相同查询(右)使用制度框架返回了28000个结果。检索到的信息类型显示在屏幕上，以便进行定性评估。

‎ 查看此图

‎ 查看此图

‎ 查看此图

文物鉴定结果

“技术风险和有效性评价策略强调在过程早期迭代地进行人工形成性评价，但逐步向总结性人工评价发展”[29］．

评估中的一个主要风险是确定是否可以在技术上实现上下文层以改善水务署的服务，因此模型的初始版本是使用迭代原型理论开发的，以进行观察和改进。一旦数据收集和观察表明，水务署使用上下文层的信息检索满足R1至R5作为人工制品形成评估的一部分，就分别与卫生保健专业人员和卫生研究人员使用定性和定量研究方法进行自然的总结性评估。

收敛的面试

聚合面谈[30.]允许研究人员识别和选择参与者，就关键问题对他们进行采访，并从定性分析中确定结果。这项技术针对的是在医疗保健部门有大量经验的医疗保健从业人员，因为多年来医疗实践取得了重大进展，使EBP变得非常宝贵。他们的实践经验与研究证据，以提供病人护理使用当前的相关实践合格的定性自然主义总结性评价。

在一对一的访谈中，5名医疗保健从业人员被告知本研究的性质，并遵守道德要求。一旦获得同意，将向医疗保健从业人员提供实例化的现场演示，然后提出问题以评估原型的有效性和实用性。他们还能够将结果与没有上下文层的WSD实现进行比较。结果显示在表3，其中列出了针对本研究确定的要求提出的面试问题。

在R1到R5的所有5项计数中，医疗保健从业人员都看到了好处，并证实与不使用上下文层相比，使用WSD服务的上下文模型改进了信息检索过程。其中一名医生表示迫切希望在他们的医疗实践中实施这一制度，而一名注册心理学家教授强调了这对他的学生的价值。

确认性焦点小组

焦点小组被用作DSR的评估方法，是一种适当的方法[35]，它既可以是探索性的，更符合形成性评价，也可以是验证性的，用于总结性评价[31］．在这种情况下，形成了一个验证性焦点小组来定量分析讨论内容，以确定对需求的重要关注，以证明小组的结论。内容分析是一种研究技术，探索直接从人际交往和书面文件等来源获得的数据，用于定量或定性研究，或两者兼而有之[36］．

形成确认性焦点小组需要选择与研究领域相关的内容[32]，因此，我们邀请了5名亲身使用过发现服务的博士级健康研究人员参加讨论。向小组提供了最初的介绍以及5个需求R1到R5，如图所示表2，它评估了其他发现服务，然后是模型实例化的演示，以讨论它是否满足所有需求。

尽管有关于改进原型的详细功能的评论，例如选项屏幕可以更加用户友好的方式，以及上下文对多学科内容的限制性质，但小组的共识是实例化满足了工件具有有效性和实用性的所有需求。

在焦点小组的背景下，内容分析包括形成一个假设，通过分析来检验。语义内容分析“寻求根据符号的含义对其进行分类”，特别是子分类断言分析“提供某些对象以特定方式表征的频率”[32]，用于测试所有需求R1到R5是否都被重点小组显著地讨论，以证明工件实例化满足所有需求的结论。

对于这个分析，需求R1到R5被识别为对象，定位为列，而代码或单词的频率在结果矩阵中定位为行。

为了严格分析讨论及其与结论的相关性，会议被记录下来，然后通过将音频记录转换为视频文件并上传到YouTube来自动生成文本。文本被复制到一个原始HTML文件中，在浏览器中打开，删除新行，并保存为文本文件中的连续流。

文本文件作为一个空格分隔的数据文件导入Microsoft Excel，并进行了换位，使每个单词都出现在一行中。在此之后，开发了一个visual basic脚本来分析每个单词并确定其词性(例如，动词和名词)，并填充与单词相邻的单元格。然后将这个包含单词、词性和单词长度的Excel文件导入Tableau Software的桌面工具中进行进一步分析。

归纳编码[32]使用导入的数据，用一个单词在讨论中被提到的次数作为x轴，单词长度作为y轴，以进一步解释，从而创建了一个散点图。选择属于词性的词，如副词、连词、感叹词、代词和其他被删除，只留下形容词、名词和动词。长度小于5个字符的单词被忽略，包括被提到少于6次的单词。散点图被逐字逐句地进一步分析，以选择性地去除不适用于研究上下文的模糊词，如应用、存在和可能，使散点图具有描述符或代码，以呈现所示的结果图13．

分析具有频率计数(描述符或代码)的单词，以寻找与需求R1到R5(对象)中的1个相关的符号，从而形成一个矩阵表4由每个对象的前5个描述符组成，以证明对所有需求进行了重要的讨论，以确认工件的效用和有效性，从而宣布假设为真。

‎ 查看此图

讨论

会议要求

结合基于迭代原型的人工形成性评价和基于收敛访谈和验证性焦点小组的自然性总结性评价，上下文模型满足了本研究R1至R5的所有要求。

本研究回顾了卫生保健从业人员的EBP状态，并确定由于大量的资源，研究证据维度是一个重大障碍。水务署的服务为大多数获授权的内容提供索引，同时为从业员提供一个单一的研究入口，从而促进研究证据;这在一定程度上解决了问题。

文献中所指出的这种方法的问题是与医疗领域缺乏相关性、制造噪音、未优先级的资源以及缺少用户上下文。这些问题与信息检索是同义的，这些信息检索是用计算机科学方法开发的，侧重于系统和算法，而不是用户需求。

本研究以Cole的信息需求理论为基础，设计并评估一个情境层或人工制品模型，应用于水务服务，以改善水务服务。使用DSRM原则，本研究使用迭代原型来观察、设计和改进模型及其原型，并使用EBSCO WSD的api。

一旦原型在一系列的人工形成性评价中证明它满足R1到R5的要求，就会选择5名医疗保健从业人员进行收敛性访谈，进行定性自然主义的总结性评价。

主要研究结果

所有参与实地实验的医护人员都认为建议的方法很有用，符合他们的实际工作，并为水务署的服务增加价值，以改善EBP。

通过组成由5名健康研究人员组成的验证性焦点小组，进行了定量自然主义总结性评价，他们讨论并得出结论，人工制品实例化满足所有要求。讨论被记录和转录，用于内容分析，以识别描述符或代码，并将它们与要形成的对象或需求联系起来表4对于一个积极的假设，有证据表明需求之间进行了重要的讨论，以证明结论是正确的。

评估是DSR的关键要素之一，因为它提供反馈以进一步改进工件，并使其达到验证其效用、质量和功效的状态[26］．

先前研究[29] DSR评估的共享策略，即快速和简单，人类风险和功效，技术风险和功效，以及纯技术人工制品策略。评估的选择取决于人工制品的功能目的，在本研究中，这是形成性的，因为它旨在改善被评估过程的结果。它也是总结性的，因为结果将在多大程度上符合预期。战略选择的另一个因素是评价范式:它是人为的还是自然的。

在这个维度上，范式既是人为的，也是自然的，因为使用迭代原型来评估上下文工件，以确定上下文作为其开发的一部分是否可行。这以增量和迭代的方式指导开发，以解决研究问题。在这里，原型设计和开发工作用于验证或否定理论[28］．

结论

评估的结论是，上下文层或人工模型作为解决EBP WSD问题的人工模型具有有效性和实用性。DSR的严谨研究[29]显示，在人工制品开发过程中，形成性评价对于识别弱点和需要改进的领域是必要的，而总结性评价对于通过概述所提议的人工制品的整体效用或效率和潜在利益来进行DSR研究是重要的。考虑到通过迭代原型和自然总结评价的人工评价，技术风险和效果评价策略是本研究的合适选择。

建议对上下文方法进行进一步研究，以使用人类风险和有效性策略来评估人工制品。