测量移动目标的影响:面向评估协同自适应交互技术的动态框架

简介

大多数关于评估基于web的卫生应用程序的出版物集中于旨在向患者、其照料者或卫生专业人员提供卫生信息的网站[1-3.]。随着技术的变化，与其评估相关的新挑战出现了[1]。这与协作、自适应和交互技术尤其相关。我们将协作、自适应和交互技术定义为以下技术:(1)以传统或新颖的方式促进用户之间的协作，(2)支持根据用户需求或偏好调整形式、功能和内容，(3)允许用户通过显式交互机制(如有目的地来回发送数据)和隐式交互机制(如通过传感器交换数据)与技术进行交互[4]。协作、自适应和交互技术包含了许多Web 2.0应用程序，这些应用程序已经在(1)社区框架中描述过，它与协作有关;(2)信息(重新)组织，这必然需要适应和交互[5]。我们将协作、自适应和交互技术的概念视为一个总括性定义和术语，它还包含了Eysenbach最近总结的Web 2.0健康应用程序的五个主要方面[6]，即:(1)社交网络(协作和互动)，(2)参与(协作和适应)，(3)适应(协作)，(4)协作(协作)，(5)开放(适应和互动)。在这篇文章中，我们提供了健康相关网站评估设计的背景信息，描述了与评估相关的框架，并提出了一种动态方法，可以匹配与协作、自适应和交互技术评估相关的挑战。

方法

通过检索:(1)MEDLINE(1990 - 2007年11月)、CINAHL(1990 - 2007年12月)、Cochrane、psyinfo(1990 - 2007年11月)、社会科学文摘和引文索引(1990 - 2008年)和ERIC(1990 - 2007年11月)确定符合条件的文章;(二)作者个人收藏;(三)有关出版物的参考书目。该搜索策略是与一位医学图书馆员协商制定的，包括一串与互联网相关的词汇与一个使用布尔运算符的评估框架字符串交叉匹配。例如，MEDLINE搜索使用了与技术相关的术语(互联网、万维网、信息学、在线)、Web 2.0术语(博客、维基、播客、标签)、与患者相关的术语(一些包括消费者参与、教育/非专业、消费者参与)和评估概念(例如，这些包括结果、过程、定量)。请参阅多媒体附件1查看每个数据库使用的策略和搜索词的完整列表。一年后，当文章被接受发表时，这些搜索又进行了一次多媒体附件2）.

在同行评审期刊上用英文发表的文章被认为有可能被纳入评审:

1. 如果他们描述了一种通用的评估框架，适用于广泛的面向普通公众的基于web的健康应用程序;或
2. 对于专门针对健康的网站，如果它们提供了对符合标准第1点的框架的评估所遵循的过程的完整描述。

所谓“通用”，我们指的是适用于提供信息或工具的网站的框架，这些网站可以促进决策支持、社会支持、自我管理或自我护理支持。

有关评估提供某种形式的治疗或治疗的网站的文章被排除在外，如认知行为疗法或与卫生保健专业人员的交流，因为这些网站的目的与上述网站明显不同。这些网站实际上是一种治疗形式或临床接触的延伸，而不是获取信息和支持的手段。因此，他们有超越网站本身的重要评价标准。我们还考虑了那些描述对单一正式决策辅助工具、诊断辅助工具或为医疗专业人员的教育或使用而设计的网站的评估的文章，这些文章超出了范围。

三位研究者(LOG, HW, JB)独立地从文献检索中确定的文章中随机选择100个标题和摘要。采用SPSS v15.0和双向混合效应模型计算单指标类内相关系数(ICC)为0.89 (95% CI 0.85 - 0.95)。在一年后的重复搜索中，按照同样的程序进行。其中两个评分者在其评估中方差为零，使得ICC计算不适用。在这种情况下，在100篇随机选择的文章中，有98篇是一致的。在这两种情况下，一致的程度被认为足以支持对搜索总产量的三分之一进行独立评价。在独立评估过程中，如果某一引用的资格被判断为有问题，研究者将其纳入最初的筛选步骤，以便让其他研究者对其是否满足纳入标准进行评估。调查人员开会审查并确认彼此的调查结果。两位作者(HW, JB)随后审阅了所有可能符合条件的文章的全文。

如果文章描述了适用于基于web的、面向消费者的健康应用程序的评价框架，并且可以被归类到三个核心评价阶段中的至少两个阶段(1)形成性评价、(2)总结性评价和(3)结果性评价，那么文章就被选中列入最终分析。在每个类别中，参数是根据这些时间阶段组织的。为了阐明各阶段之间的实际差异，我们将形成性评价描述为开发和实验室测试的阶段，总结性评价描述为现场测试的阶段，结果性评价描述为整体影响评估的阶段。

对于12篇文章中的每一篇，我们都生成了一个完整的评价参数列表。通过多维卡片排序对参数进行汇总和组织[7]。使用交叉比较分析方法，我们探索了跨越三个评估阶段的共同主题。

结果

最初的文献搜索共产生了3304篇引文，其中41篇被认为可能有资格纳入综述。在审查了全部报告后，13篇描述评价框架的文章符合所有纳入标准。从文献检索中识别出7篇文章;在个人图书馆和参考书目中找到了6个。两篇文章[8，9]被视为一个，因为他们讨论了相同的评价框架，产生了12个分析集。在收录的12篇文章中，4篇专门描述了为基于web的、面向消费者的健康网站设计的评估框架，而8篇描述了为一般电子健康应用程序设计的评估框架。总的来说，11项包括形成性评价的要素，所有12项包括总结性评价的要素，10项包括结果性评价的要素。没有一篇文章全面讨论了所有三个评价阶段。描述此过程的流程图可在多媒体附件3．第二次搜索重复了相同的步骤，表示该过程的流程图见多媒体附件4．

我们确定了贯穿三个核心评估阶段的五个主题。这些重点包括:(1)受网站影响的人，(2)网站内容，(3)网站技术，(4)人与网站之间的人机交互，(5)对更大的卫生保健社区或卫生系统集成的影响。这些主题反映了核心属性，以用户为中心，以上下文为中心，以功能为中心，Currie [10]的倡导者应在任何电子卫生评估框架中加以解决。

在构建这个框架的过程中，我们观察并填补了与协作、自适应和交互应用程序相关的空白。例如，在评估促进用户之间协作的应用程序时，我们不仅必须考虑人与计算机之间的交互，而且必须考虑由计算机调解的人与人之间的交互。因此，我们将这个主题称为“计算机中介交互”，以包含这个更大的范围。该综述中的文章在结果评估栏中几乎没有包含与“内容”、“技术”和“计算机中介交互”类别对应的元素，这可能反映了一般信息网站，其静态内容主要由网站管理员管理，在评估的结果阶段不需要处理这些参数。然而，协作的、自适应的、交互式的应用程序的性质要求评估人员在项目的结果阶段考虑和评估这些参数。

有人建议，“交互式的、以用户为中心的、动态的、不断发展的……"应制定适合这些方面的措施[27(S124页)。总体而言，迄今为止的评估框架展示了一种不断增长的趋势，即以用户、上下文和功能为中心的灵活、迭代的评估设计，并在流程的每个阶段使用多种方法解决多个问题。其他机构也观察到和报告了电子卫生评估方面的类似趋势[9，27，28]。在评估使用协作、自适应和交互技术的卫生网站时，这些特征将被视为一个问题，这些技术比它们的前身更加流动、动态和交互性。

讨论

协作、自适应和交互技术评估的动态框架

没有一个确定的框架与协作、自适应和交互技术的评估需求相匹配;因此，我们提出了一个新的动态框架表1这将在下面详细描述。本评估框架建立在我们对消费者健康网站现有评估框架的回顾和综合基础上，并基于web的自适应技术的最新描述[29]。与新Web技术相关的评估标准的合并解决了我们在审查中发现的差距，并解决了与协作、自适应、交互技术相关的技术变化，强调了它们固有的社会性和动态性。在我们回顾的文章中确定的元素被相应地引用，而添加、扩展或改编的元素反映了特定于协作、自适应和交互技术的评估新领域斜体字体。

人

“人员”类别包含与参与使用或开发网站的个人相关的参数，或与可能受网站实现影响的个人相关的参数。在这一范畴内，形成阶段的评价参数包括确定涉众和涉众需求［2，8，11，12，14，15，17，18，20.]。利益相关者必然包括最终用户，也可能包括医疗保健提供者、资助机构、倡导团体、家庭护理人员以及负责网站设计、开发和批准的人员。与此类别相关的评价任务包括正式的需求评估、确定潜在用户的主要特征以及与相关利益攸关方进行协商。在总结阶段，这类参数包括:(1)用户特征［15]，指用户的特征，例如电脑熟练程度[15，16以及可能影响使用的人口统计学或疾病特征[2，11，14];和(2)用户的角度［13，14]，其中包括来自用户或潜在用户的反馈使用意图该网站[16),他们满意度透过网站[8，13，14，16]和他们的使用动机的网站[14]。这一类的结果评估包括调查应用的影响病人的结果，包括使用本网站的人或本网站为其设计的人的心理社会福祉、健康行为和生理结果[2，11，13-17，19，20.]。的对人际关系的影响组件(2，19包括对患者-提供者关系中任何变化或缺乏变化的评估[15]。

人:专注于协作、适应、互动的元素

在形成阶段，“人员”类别不仅要评估涉众的信息需求，还要评估更广泛的利益，这些利益将使他们从站点的用户转变为传递或生成新知识的动态企业的贡献者和合作者。我们称之为"利益相关者利益评估”。在总结阶段，评价范围必须扩大，以反映从被动学习到主动参与的转变。使用动机一个特定网站的价值可能不再通过一个网站的单一或小的一组目的来推断，而可能需要更彻底的评估。用户特征应包括卫生知识和卫生计算[30.，31),而电子健康素养［21]，指的是人们有效利用网上健康信息的能力。用户特征也应该包括参数情感特征评估影响社交互动的因素，如动机、挫败感、投入度和脱离度[29]。前几代的卫生网站可被视为独立的Web目的地，用于少量特定目的的访问，例如查看网站上所载的信息或获得转到其他信息网站或来源的信息。尽管通信元素(例如，基于Web的消息论坛、新闻组和邮件列表)以前已经存在，但通过扩展用户在站点上可以执行的功能和任务，以及创建或加强与Web上其他位置的联系，协作、自适应、交互式应用程序和功能的合并为卫生网站引入了新的复杂性水平。因此,用户的认知风格也可能在网站设计中发挥重要作用，考虑到个人是否冲动或反思、概念或推理、主题或理性等[29将会对他们如何体验计算机中介交互产生影响。最后，我们建议结果评估可以有效地包括对Caregiver-patient关系，特别是在应用程序旨在解决涉及照顾者的健康和生活状况的情况下。

内容

“内容”类别描述了与网站上所有内容相关的参数，包括文本、图像和多媒体组件。在形成阶段，对内容的评价可能包括对内容的评价质量和信誉，例如评估内容在多大程度上准确地代表了可用的证据，以及描述质量的好坏[2，8，11，12，14，16];实用程序［2，13，16的属性完整性网站计划的内容和目标[13，16];可理解性，指内容的多个方面，例如文本的可读性统计数字、平实语言和翻译选项、医学语言和首字母缩略词的解释、数字或图形信息的显示格式的选择以及图像的清晰度[2，13，16];而且相关性，指每项内容适用于潜在使用者的健康状况[13，16]。这些参数可由专家和/或目标用户群体的成员用标准化指标或判断进行评估。在总结阶段，此类别中的参数包括质量和信誉［8]，在这个阶段是指用户对这些属性的感知，例如他们是否认为内容值得信赖和可信，以及主观效用［17]，或实际用户如何评价形成阶段所描述的实用要素，以及用户对网站上信息有用性的整体评估。评价方法主要包括通过调查等反馈机制与用户直接协商。最后,个性化程度［13]是指用户对个人适用和有用的信息的获取，代表参数相关性从形成阶段开始，在实践中实施。

内容:专注于协作，适应，互动元素

在协作的、自适应的、交互式的应用程序中，内容的潜在流动性给评估提出了新的挑战。向动态的、用户生成的内容转变，需要改变描述可信度的方式及其后续评估[33]。在这个新框架中，人们重新关注内容质量和信誉(单个作者的博客，或者集体的维基)随着用户生成内容的增加，读者必须准备好评估每个条目，而不是每个网站的可信度。因此，分析用户产生的内容成为评价的重要组成部分和范围质量和信誉评估扩展到来源可信性之外，还包括关注信息可信性和无谱文献的可信性[34]。此外，自适应和交互功能可以增加个性化程度，扩大了这一元素的分析范围，包括对网站内容对每个用户的个性化程度的更详细评估。

协作的、自适应的、交互式应用程序的结果评估创造了全新的评估需求和途径。对于支持用户生成内容的网站，内容制作成为一个应该被调查的重要输出。对用户生成内容的评估可能涉及对内容的评估形式(叙述的，数字的和聚合的)和自然(建议、意见、个人信息和情感支持)。用户生成内容的定位也可以通过检查用户提供的内容是如何在网站内框架来评估。例如，用户生成的内容是站点的中心还是外围?网站用户与临床医生和研究人员社区之间是否存在反馈或对话机制?［35]。

技术

“技术”是指用于创建和运行网站的底层技术。在回顾的文章中讨论的主要形成性评价参数是系统的鲁棒性．此参数包括与该技术的性能和功能有关的各个方面[19]。系统性能指网站的基础设施或架构的质量，包括网站的加载速度、它能支持多少并发用户，以及网站对增加的请求的响应能力[13，16，17]。功能和特性指用户在技术上可以在网站上做些什么，以及在使用各种不同的浏览器应用程序时，网站的页面和外部链接能够正常加载且没有错误(例如，404错误指示页面未找到)的程度[8，12，13，16，17]。隐私指保护数据，包括存储数据和传输中的数据，防止未经授权或不必要的泄露，以及安全指在面对外部威胁时仍能控制网站及其内容的能力[13，16]。在总结阶段，评价参数包括使用情况统计，或衡量网站的使用情况，例如:支安打，或每个页面被调用的次数;游客，指访问网站的不同用户数量，可能包括对新访问者和重复访问者的评估;浏览器，或使用该网站的人士所使用的网页浏览器;和发病率错误，在这种情况下，访问者或软件请求不存在的文件或应存在但不存在的文件[2，11，14，15，16，17]。这些指标通常使用日志文件分析进行评估[22]。在此阶段可能评估的进一步参数包括系统的可靠性，指正常运行时间和停机时间，指网站可用的时间，以及数据损坏或丢失的时间[8，16，19),而速度，其中包括由于系统负载而导致的性能降低的度量，以及(在适当的情况下)随着数据库增长而对数据库性能的度量[13，16]。与此单元相关的大多数评估参数可通过日志文件分析或Web分析进行评估[21]。

技术:专注于协作、自适应、交互元素

将新技术纳入健康网站有助于转移几个评价类别的重点。广泛的形成性评价隐私而且安全对于能够以新的方式共享数据的基于web的应用程序来说，度量将变得尤为重要。传统的信息网站很少或没有用户生成的内容，因此不需要考虑这些内容的安全性或隐私边界，因为人们分享敏感的、个人的和可识别的健康信息可能会挑战这些隐私边界。系统互用性及平台必须考虑作为附加的评价参数，如适用。系统互操作性指的是该网站与其他网站的通信情况，以及在适当的情况下，该网站与其他网站协同使用的情况。这可能包括应用程序编程接口(API)兼容性和数据可移植性，允许站点集成和交互，如mashup和联合提要[5]。平台/可移植性指的是该网站在其他设备(包括小型屏幕移动设备，如个人数字助理(pda)和移动电话)上的浏览和使用情况。

在总结阶段，协作、自适应和交互技术的动态特性促使对应用程序的评估在现有技术中定位而且标准的兼容性．前者是指应用技术的货币化;后者反映了站点遵守Web标准和特定于健康状况的标准(如HL7)的情况。这些考虑导致了结果评估动态演化这意味着它对新技术和社会趋势的响应能力。协作开发模型指的是在项目结束时如何设想场地的持续性质。这就提出了一个问题:做开源方法确保平台的动态增长?

电脑仲介交互

“计算机中介交互”指的是对用户与界面以及通过界面进行交互的评估。在形成阶段，评价参数包括可用性［2，8，11，13，14，17，18]，指的是人们使用该网站的直观程度[23]。在这个阶段，可用性通常通过启发式评估和目标用户样本群体的可用性测试进行评估。其他参数包括可访问性［12，17]，或为可能有使用障碍(如视觉、运动或认知障碍)的人设计的界面如何[24，25];社交能力［18，支持社会互动的能力;而且信息架构［11，14]，或网站内的内容组织如何，以支持不同的资讯使用行为[26]。在总结阶段，这个类别中的评估参数包括用户对形成阶段中评估的许多属性的看法。这些包括:用户对可用性的看法［8，13，15，16，19]，这是指实际用户对他们使用网站的方便和直观程度的反馈;用户对可访问性的看法［16，17]，指对使用的障碍和促进因素的反馈;展示了社交能力［18]，以探讨促进用户社区的机制，并评估该网站在有一个正常运作的社区的情况下，是否真的是一个社交网站;而且可寻性［2]，指的是寻求信息的访问者找到网站的能力。这一类中的许多参数可以通过与用户的咨询，如在线调查进行评估。有些，比如可发现性和可展示的社交性，也可以通过用户活动的度量来推断。

以计算机为媒介的交互:关注协作、自适应、交互元素

在形成阶段，向协作、自适应和交互技术的转变扩大了交互研究的范围。在协作网站的背景下，这一类别不仅是关于与技术的交互，也关注计算机辅助下与他人的交互。因此，在这一范畴内，我们建议额外关注形成阶段的参数，如社交能力［18]，指该网站是否及如何设计以支持社区互动[36，我们提出了一个额外的度量，交互性或者界面是否支持自适应的交互式人机行为，比如提供界面个性化的途径。

在总结阶段，向“计算机中介交互”的转变扩大了评价和评估的范围。可用性而且可访问性测试必须包含对用户交互与不断变化的界面的评估。用户生成的内容，用户发起的信息重组，以及原则永恒的β［32]，其中接口被假定为频繁变化，这些都可能导致用户所看到的接口发生变化。展示了交互性指网站访问者如何以及是否使用网站的互动功能。Preece及其同事[18在社交启发式方面做了大量的工作，他们目前认为这些启发式在很大程度上是针对社区的。使用CAI工具明确推广的健康网站协作作为社交能力需要对用户交互产生的实际协作进行评估。

为了监测和提高质量，还应在结果评价阶段并在持续的基础上对“计算机介导的交互作用”进行评估。社区发展指的是对不断发展的站点是否以及如何支持社区交互的回顾性评估。随着时间的推移，用户社区如何响应站点的问题被称为协作的演变．这个参数的评估包括汇总统计数据和包含协作特征的站点内协作证据的纵向分析。为参与者提供信息交换机制的网站现在可能包括允许读者通过发表评论提供反馈的博客。如果评估的目标是评估社区成员是否使用该网站相互协作，则可以通过检查参与者是否定期交换消息来进行分析[37]。例如，一个博客可能会吸引读者每天、每周甚至每月发表一些评论，而这种回复率可能会随着时间的推移而变化。必须有一些交互来进行协作。衡量这一点的一种方法是检查已发布消息的数量及其相关回复[37]。在此分析中同样重要的是审查消息内容和语气。将一系列消息串在一起不一定是合作的标志;相反，它可能表示一种论点。然而，通过消息发布度量协作事件可能不足以证明一个社区正在有效地运行。一个社区必须满足其成员的需要，才能维持下去。尽管可能存在大规模合作的证据，但一些成员可能会发布问题，而没有收到对他们的查询的回应。

卫生系统集成

“卫生系统集成”的范畴是指一个面向外行人的卫生网站可能实施的更大的系统、卫生过程和社会。形成性评价参数在这个类别包括评价指标和过程的定义［11，12]，这意味着评估是否以及如何很好地融入到网站的设计、开发和实现中，以及道德和责任［11]，它指的是在更大的医疗保健系统中，在线提供信息的伦理和责任问题如何以及是否得到了解决。这一类的总结性评价包括对场地影响的评估政府［2，19，20.),包括服务利用率［2]，或医疗保健系统和社区服务的使用率;护理协调［16，19]，指该地点可能影响提供保健服务的方式;而且患者安全［16]，或评估该部位如何或是否影响患者的安全指标，如适当使用药物。此类别内的结果评估参数包括公众的影响［18，19]，指该网站可能对更大的社区产生的任何一般影响，可能包括由特定社区自行报告或定义的结果;成本效益［2，8，11，13，16，17，19]，指因使用该网站及任何相关资源而增加的健康收益;而且预期效果［8]，这是一个具体环境的评估，它将根据项目的目标而变化，包括适当性［16，19]，或作为实现这些目标的手段的该地点的整体观察适宜性，以及有效性［13，16，这是指网站实现预期目标的情况。

卫生系统集成:关注协作、自适应、交互元素

对信息技术及其过程融入更大的卫生系统的评价已在以前的框架中得到充分讨论。然而，值得注意的是，由于其扩展的功能，协作、自适应和交互技术可能在该领域提供更大的利益和更大的意想不到的后果[38]。这些潜力能否实现还有待观察。

结论

我们提出了一个评估框架，为协作性、适应性和交互性应用程序的五个主题提出了形成性、总结性和结果评估指标:人员、内容、技术、计算机中介交互和卫生系统集成。在卫生保健和其他领域，协作、适应和互动技术的使用增加，突出了对其进行评估的重要性。我们需要在某样东西有价值之前确定它是否有效。协作、自适应、互动技术正变得无处不在，并迅速成为社会不可分割的一部分。在创纪录的时间内，维基百科、Facebook、MySpace、YouTube和Orkut等促进合作的资源已经成为世界上使用最广泛的在线服务。随着它们令人眩晕的上升，它们预示着一个时代的到来，在这个时代，公众可以使用巨大的权力来创造和分享知识，与人和机器进行交流，以前所未有的自由寻找和评估服务。

尽管速度略慢，但针对卫生的协作、自适应和交互技术正在出现，有望改变系统内所有利益攸关方的角色、工作流程、权利和责任[38]。然而，与任何其他干预措施一样，协作、自适应和交互技术也存在弊大于利的风险。能见证一套对社会产生深远而广泛影响的强大新技术的出现，是一种罕见的特权。我们应该承担起伴随这种特权而来的责任，“超越炒作，剖析什么有效，什么无效”。39]。因此，必须进行深思熟虑和认真的评价。

我们提供这个框架作为一种跨广泛应用程序和目的构建评估的方法。在某些情况下，可能没有足够的资源来对该框架中列出的所有组成部分进行评估。在这些情况下，我们建议将评估重点放在与评估目标最相关的特定方面(人员、内容、技术、计算机中介交互、卫生系统集成)。根据资助组织的具体要求定制结果评估，而不是试图解决所有的不同组成部分表1在这一阶段中，将有另一种方法来减少测量每个阶段中所有元素所需的资源。在框架中提出的每一个组成部分也可能在已建立的程序中有超出评估度量的用途。例如，作为形成性评估列出的组件，特别是人员、内容和技术部分，也可以用来构成需求评估的组件，或者作为资金应用程序的一部分，框架可以用来排除未充分利用的应用程序的故障。

评估在协作、自适应和交互应用程序的高质量设计、高效开发和有效实现中起着至关重要的作用。在资源分配受限的时代，采用有力和适当的评价框架将有助于确保协作、适应和互动技术达到预期，并有助于改善所有人的健康。