测量移动目标的影响:朝向评估协作自适应交互技术的动态框架

简介

大多数关于评估基于web的健康应用程序的出版物侧重于旨在向患者、其护理人员或卫生专业人员提供健康信息的网站[1-3.］．随着技术的变化，与评估相关的新挑战也随之出现[1］．这与协作、自适应和交互技术尤其相关。我们将协作、自适应和交互技术定义为以下技术:(1)以传统或新颖的方式促进用户之间的协作，(2)支持根据用户需求或偏好对形式、功能和内容进行调整，以及(3)使用户能够通过显式交互机制(如有目的地来回发送数据)和隐式交互(如通过传感器交换数据)与技术进行交互[4］．协作、自适应和交互技术包含了许多Web 2.0应用程序，这些应用程序在(1)与协作有关的社区和(2)必须利用适应性和交互的信息(重新)组织框架内描述[5］．我们认为协作、自适应和交互技术的概念是一个总括性的定义和术语，它还包括Eysenbach最近总结的Web 2.0健康应用程序的五个主要方面。6即:(1)社交网络(协作和互动)，(2)参与(协作和自适应)，(3)调解(协作)，(4)协作(协作)，(5)开放(适应性和互动)。在本文中，我们提供了与健康相关的网站评估设计的背景信息，描述了与评估相关的框架，并建议了一种动态方法，可以匹配与评估协作、自适应和交互技术相关的挑战。

方法

通过检索(1)MEDLINE(1990 - 2007年11月)、CINAHL(1990 - 2007年12月)、Cochrane、PsycINFO(1990 - 2007年11月)、社会科学文摘和引文索引(1990 - 2008年)和ERIC(1990 - 2007年11月)确定符合条件的文章;(二)作者个人收藏;(三)有关出版物的参考书目。该搜索策略是在咨询医学图书馆员的意见后制定的，包括使用布尔运算符与评估框架字符串交叉匹配的互联网相关术语字符串。例如，MEDLINE搜索使用了与技术相关的术语(互联网、万维网、信息学、在线)、Web 2.0术语(博客、维基、播客、标签)、与患者相关的术语(一些包括消费者参与、教育/非专业、消费者参与)和评估概念(例如，这些包括结果、过程、定量)。请参阅多媒体附件1获取用于每个数据库的策略和搜索术语的完整列表。一年后，当文章被接受发表时，这些搜索再次运行(请参阅多媒体附件2）.

在同行评审期刊上以英文发表的文章被认为有可能符合纳入审查的条件:

1. 如果他们描述了一个通用的评估框架，适用于广泛的面向非专业公众的基于网络的健康应用;或
2. 对于特定健康网站，如果它们提供了对符合标准第1点的框架的评价所遵循的过程的全面描述。

所谓“通用”，我们指的是适用于提供信息或工具以促进决策支持、社会支持、自我管理或自我护理支持的网站的框架。

关于提供某种形式的治疗或治疗(如认知行为治疗或与医疗保健专业人员交流)的网站评估的文章被排除在外，因为这些网站的目的与上述网站明显不同。实际上，这些网站本身是一种治疗形式或临床接触的延伸，而不是获取信息和支持的手段。因此，他们有超越网站本身的重要评价标准。我们还认为，那些描述对单一正式决策辅助工具、诊断辅助工具或为医疗专业人员的教育或使用而设计的网站进行评估的文章超出了范围。

三位调查人员(LOG, HW, JB)独立审查了通过文献检索确定的文章中随机选择的100个标题和摘要。使用SPSS v15.0和双向混合效应模型计算单指标组内相关系数(ICC)为0.89 (95% CI 0.85 - 0.95)。在一年后的重复搜索中，采用了同样的程序。其中两个评分者的评估方差为零，使得ICC计算不适用。在这种情况下，在随机选择的100篇文章中，有98篇是一致的。在这两种情况下，一致程度被认为足以支持对搜索总结果的三分之一进行独立评价。在独立评估期间，如果某一特定引用的资格被判定为有问题，研究者将其纳入最初的筛选步骤，以便其他研究者对其是否满足纳入标准进行评估。调查人员会面审查并确认彼此的调查结果。两位作者(HW, JB)随后审阅了所有可能符合条件的文章的全文。

如果文章描述了一个适用于基于web的、面向消费者的健康应用程序的评估框架，并且至少可以分为三个核心评估阶段中的两个(1)形成性评估、(2)总结性评估和(3)结果评估，那么文章将被选择纳入最终分析。在每个类别中，参数是根据这些时间阶段组织的。为了澄清各个阶段之间的实际差异，我们将形成性评价描述为开发和实验室测试阶段，总结性评价描述为现场测试阶段，结果性评价描述为总体影响评估阶段。

对于12篇文章中的每一篇，我们都生成了一个完整的评估参数列表。这些参数通过多维卡片排序进行集合和组织[7］．使用交叉比较分析方法，我们探索了跨越三个评估阶段的共同主题。

结果

最初的文献检索共产生3304篇引用，其中41篇被认为有可能符合纳入综述的条件。在审查完整报告后，13篇描述评估框架的文章符合所有纳入标准。从文献检索中确定了七篇文章;在个人图书馆和参考书目中发现了六种。两篇文章[8，9]被认为是一个，因为他们讨论了相同的评估框架，产生了12个分析集。在收录的12篇文章中，4篇描述了专门为基于web的、面向消费者的健康网站设计的评估框架，而8篇描述了为电子健康应用程序设计的评估框架。总体而言，11个包含形成性评价要素，所有12个包含总结性评价要素，10个包含结果性评价要素。没有一篇文章全面论述了所有三个评估阶段。描述此过程的流程图可在多媒体．第二次搜索重复了相同的步骤，表示此过程的流程图可以在多媒体附件4．

我们确定了跨越三个核心评估阶段的五个主题。其中包括强调:(1)受网站影响的人，(2)网站的内容，(3)网站的技术，(4)人与网站之间的人机交互，以及(5)对更大的医疗保健社区或卫生系统集成的影响。这些主题反映了核心属性，以用户为中心，以上下文为中心，以功能为中心，Currie [10在任何电子卫生评估框架中都应解决这些问题。

在构建这个框架的过程中，我们观察并填补了与协作、自适应和交互式应用程序相关的空白。例如，在评估促进用户之间协作的应用程序时，我们不仅必须考虑人与计算机之间的交互，还必须考虑由计算机调解的人与人之间的交互。因此，我们将这个主题称为“计算机介导的交互”，以涵盖这个更大的范围。审查中的文章在结果评估栏中几乎没有包含与“内容”、“技术”和“计算机中介交互”类别对应的元素，这可能反映了一般信息网站，其静态内容主要由网站管理员管理，在评估的结果阶段不需要处理这些参数。然而，协作、自适应、交互式应用程序的本质要求评估人员在项目的结果阶段考虑和评估这些参数。

有人建议，“交互式的、以用户为中心的、动态的、不断发展的……"应采取适合这些方面的措施[27(第S124页)。总的来说，迄今为止的评估框架展示了一种日益增长的趋势，即以用户、上下文和功能为中心的灵活、迭代的评估设计，并在过程的每个阶段使用多种方法解决多个问题。其他人也观察到并报告了电子卫生评估方面的类似趋势[9，27，28］．在评估使用协作、自适应、互动技术的卫生网站时，这些特征将被视为一个问题，这些技术比以前的技术更具流动性、动态性和互动性。

讨论

评价协作、自适应和交互技术的动态框架

所确定的框架中没有一个符合协作、自适应和交互式技术的评估需求;因此，我们提出了一个新的动态框架表1下面将详细描述。该评估框架建立在我们对消费者健康网站现有评估框架的审查和综合以及最近对自适应、基于web的技术的描述的基础上[29］．与新Web技术相关的评价标准的结合解决了我们在审查中发现的差距，并解决了与协作、自适应、交互技术相关的技术变化，强调了它们固有的社会和动态特性。在我们回顾的文章中确定的元素被相应地引用，而添加、扩展或改编的元素则反映了特定于协作、自适应和交互技术的新评估领域斜体字体。

人

“人员”类别包含与参与使用或开发网站或可能受到网站实施影响的个人相关的参数。在这一类别中，形成阶段的评价参数包括确定涉众和涉众需求(2，8，11，12，14，15，17，18，20.］．利益相关者必然包括最终用户，也可能包括卫生保健提供者、资助机构、倡导团体、家庭照顾者以及负责网站设计、开发和批准的人员。与此类别相关的评估任务包括正式的需求评估、潜在用户的关键特征识别以及与相关利益相关者的协商。在总结阶段，该类参数包括:(1)用户特征(15]，指的是用户的特征，例如电脑熟练程度[15，16]以及可能影响使用的人口或疾病特征[2，11，14];和(2)用户的角度(13，14]，其中包括用户或潜在用户对他们的使用意图网站[16),他们满意度透过网站[8，13，14，16]和他们的使用动机有关地盘[14］．这类结果评估包括调查应用程序对病人的结果，包括使用该网站的人或网站为其设计的人的社会心理健康、健康行为和生理结果[2，11，13-17，19，20.］．的对人际关系的影响组件(2，19]包括对患者-提供者关系中任何变化或缺乏变化的评估[15］．

人:关注协作性、适应性和交互性元素

在形成阶段，“人员”类别不仅要评估涉众的信息需求，还要评估更广泛的利益，这些利益将使他们从站点的用户转变为动态企业的贡献者和合作者，传递或生成新知识。我们称之为"利益相关者利益评估”。在总结阶段，评价范围必须扩大，以反映从被动学习到主动参与的转变。使用动机一个特定的网站可能不再通过一个网站的单一或一小部分目的来推断，可能需要更彻底地评估。用户特征应包括卫生知识普及、卫生数字普及[30.，31),而电子健康素养(21，指的是人们有效利用网上健康信息的能力。用户特征也应该包括参数情感特征为了评估影响社会互动的因素，如动机、挫折、参与和脱离[29］．前几代的卫生网站可以被看作是为一些特定目的而访问的独立Web目的地，例如查看网站上包含的信息或获得其他信息网站或来源的转介。虽然通信元素(例如，基于Web的消息论坛、新闻组和邮件列表)以前是可用的，但通过扩展用户在站点上执行的功能和任务，以及通过创建或加强与Web上其他位置的联系，协作、自适应、交互式应用程序和功能的结合，将健康网站的复杂性提高了一个新的水平。因此,用户的认知风格考虑到个人是冲动的还是反思性的，是概念性的还是推理性的，是主题性的还是理性的等等，在网站设计中也可能发挥重要作用[29会对他们如何体验计算机中介交互产生影响。最后，我们建议结果评估可以有用地包括对Caregiver-patient关系，特别是在应用程序旨在解决涉及照顾者的健康和生活状况的情况下。

内容

“内容”类别描述了与网站上所有内容相关的参数，包括文本、图像和多媒体组件。在形成阶段，内容评价可以包括对内容的评价质量与信誉，例如评估内容对现有证据的准确程度，以及描述质量的好坏[2，8，11，12，14，16];实用程序(2，13，16]，其中包含the等属性完整性网站计划的内容和目标[13，16];可理解性，指的是有关内容的若干方面，例如文字的可读性统计、简单的语言和翻译选择、医学语言和首字母缩略词的解释、数字或图形信息的显示格式的选择，以及图像的清晰度[2，13，16];而且相关性，指每项内容是否适用于潜在使用者的健康状况[13，16］．这些参数可以由专家和/或目标用户群体成员通过标准化指标或判断进行评估。在总结阶段，此类别中的参数包括质量与信誉(8]，在此阶段是指用户对这些属性的感知，例如他们是否认为内容值得信赖和可信，以及主观效用(17]，或实际用户如何评价在形成阶段所描述的实用要素，以及用户对网站信息有用性的整体评估。评价方法主要包括通过调查等反馈机制与用户直接协商。最后,个性化程度(13]是指用户对个人适用和有用的信息的获取，代表参数相关性从形成阶段，落实到实践中。

内容:注重协作、自适应、互动元素

在协作、自适应、交互式应用中，内容的潜在流动性对评估提出了新的挑战。向动态、用户生成内容的转变，需要改变可信度的描述方式及其后续评估。33］．在这个新框架中，人们重新关注内容质量与信誉(单独的，如在一个作者的博客中，或集体的，如在wiki中。)随着用户生成内容的增加，读者必须准备好评估每个条目，而不是每个网站的可信度。分析用户产生的内容因此成为评价的重要组成部分和范围质量和信誉评估扩展到信息源可信度之外，包括关注信息可信度和不相关文献的可信度[34］．此外，自适应和交互功能可以增加个性化程度，扩展了对该元素的分析范围，包括更详细的评估，以了解网站内容对每个用户的个性化程度。

协作、自适应、交互式应用的结果评估为评估创造了全新的要求和途径。对于支持用户生成内容的网站，内容制作成为应该调查的重要输出。对用户生成内容的评估可能包括对其内容的评估形式(叙述、数字和聚合)和自然(建议、意见、个人信息和情感支持)。用户生成内容的定位也可以通过检查用户提供的内容是如何在网站内框架来评估。例如，用户生成的内容是站点的中心还是外围?网站用户与临床医生和研究人员社区之间是否存在反馈或对话机制?(35］．

技术

“技术”是指用于创建和运行网站的底层技术。回顾文章中讨论的主要形成性评价参数是系统的鲁棒性．此参数包括与技术性能和功能相关的各个方面[19］．系统性能指网站的基础设施或架构的质量，包括网站加载的速度，它可以支持多少并发用户，以及网站如何响应增加的请求[13，16，17］．功能和特性指用户在技术上可以在网站上做什么，以及使用各种不同的浏览器应用程序，网站的页面和外部链接是否正确加载，并且没有错误(例如404错误表示页面未找到)[8，12，13，16，17］．隐私指保护数据，包括存储的数据和传输中的数据，防止未经授权或不必要的泄露安全指在面对外部威胁时保持对网站及其内容控制的能力[13，16］．在总结阶段，评估参数包括使用情况统计，或衡量网站的使用情况，例如:支安打，或每个页面被调用的次数;游客，指访问网站的不同用户数量，可能包括对新访问者和回头客的评估;浏览器，或使用该网站的人使用的网页浏览器;以及发病率错误，其中访问者或软件请求的文件不存在，或应该存在但不存在的文件[2，11，14，15，16，17］．这些指标通常使用日志文件分析进行评估[22］．在此阶段可能评估的其他参数包括系统的可靠性，指的是正常运行时间和停机时间，即网站可供使用的时间，以及数据损坏或丢失[8，16，19),而速度，其中包括因系统负载而导致的性能下降的量度，以及在适当情况下，随着数据库的增长而量度的数据库性能[13，16］．与此单元相关的大多数评估参数可通过日志文件分析或Web分析进行评估[21］．

技术:专注于协作、自适应、互动元素

将新技术纳入卫生网站有助于转移若干评估类别的重点。广泛的形成性评价隐私而且安全对于能够以新的方式共享数据的基于web的应用程序来说，度量将变得尤为重要。传统的信息网站几乎没有用户生成的内容，不需要考虑这些内容的安全性或隐私边界，因为人们分享敏感的、个人的和可识别的健康信息可能会挑战这些内容的安全性。系统互操作性和平台在适用的情况下，必须考虑作为额外的评估参数。系统互操作性指的是该网站与其他网站的沟通情况，以及在适当的情况下，与其他网站协同使用的情况。这可能包括应用程序编程接口(API)兼容性和数据可移植性，允许站点集成和交互，如mashup和联合提要[5］．平台/可移植性指网站在其他设备(包括个人数字助理(pda)和移动电话等小屏幕移动设备)上的浏览和使用情况。

在总结阶段，协作、自适应和交互技术的动态性质促使对应用程序进行评估当前技术定位而且标准的兼容性．前者指的是应用技术的货币;后者反映了该网站是否符合Web标准和特定健康标准(如HL7)。这些考虑导致的结果评估动态演化这意味着它能够对新的技术和社会趋势做出反应。协作开发模型指的是在项目结束时如何设想场地的持续性质。这就提出了一个问题:做吗开源方法确保平台的动态增长?

电脑仲介交互

“以计算机为媒介的交互”指的是对用户与界面的交互以及通过界面进行的交互的评估。在形成阶段，评价参数包括可用性(2，8，11，13，14，17，18]，指的是网站对人们使用的直观程度[23］．在这个阶段，可用性通常通过启发式评估和目标用户样本群体的可用性测试来评估。其他参数包括可访问性(12，17]，或者该界面是如何为那些可能有使用障碍的人设计的，例如视觉、运动或认知障碍[24，25];社交能力(18]，即支持社会互动的能力;而且信息架构(11，14]，或网站内的内容如何组织，以支持不同的资讯使用行为[26］．在总结阶段，这个类别中的评估参数包括用户对形成阶段评估的许多属性的看法。这些包括:用户对可用性的看法(8，13，15，16，19]，指的是实际用户对他们使用网站的方便和直观程度的反馈;用户对可访问性的看法(16，17]，指的是对使用障碍和促成因素的反馈;展示了社交能力(18]，以探讨促进用户社群的机制，并评估该网站既然有社群运作，是否真的是一个社交网站;而且可寻性(2]，它指的是寻求信息的访问者找到网站的能力。这一类中的许多参数可以通过与用户协商(例如在线调查)来评估。有些，如可找到性和可展示的社交性，也可以通过用户活动的测量来推断。

以计算机为媒介的交互:关注协作性、自适应性和交互性元素

在形成阶段，向协作、自适应和交互技术的转变扩大了交互研究的范围。在协作式网站的背景下，这一类别不仅是关于与技术的交互，而且还侧重于计算机辅助与他人的交互。因此，在这一类别中，我们建议额外关注形成阶段的参数，例如社交能力(18]，表示该网站的设计是否及如何支持社区互动[36]，我们提出了一个额外的度量，交互性，或者界面是否支持自适应的人机交互行为，例如提供界面个性化的途径。

在总结阶段，向“计算机介导的交互”的转变扩大了评价和评估的范围。可用性而且可访问性测试必须包含对不断变化的界面的用户交互的评估。用户生成内容，用户主动重组信息，以及原则永恒的β(32]，其中接口被假定是频繁变化的，这些都可能导致用户所看到的界面的变化。展示了交互性指网站访问者如何以及是否使用网站的交互功能。Preece和同事们[18他们在社会性启发式方面做了大量的工作，到目前为止，他们已经确定这些启发式在很大程度上是特定于社区的。使用CAI工具的健康网站协作作为社交能力将需要对用户交互产生的实际协作进行评估。

“计算机介导的交互作用”也应在结果评价阶段进行评估，并在持续的基础上进行监测和质量改进。社区发展指的是对不断发展的站点是否以及如何支持社区互动的回顾性评估。随着时间的推移，用户社区如何响应站点的问题被称为协作的演变．对这一参数的评估包括对包含协作特征的站点内协作证据的汇总统计和纵向分析。为参与者提供信息交换机制的网站现在可能包括允许读者通过发表评论来提供反馈的博客。如果评估的目标是评估社区成员是否使用网站进行相互协作，则可以通过检查参与者是否定期交换消息来进行分析[37］．例如，一个博客可能会吸引读者每天、每周甚至每月发表一些评论，而这种回复率可能会随着时间的推移而变化。必须有一些交互来进行协作。衡量这一点的一种方法是检查已发布消息的数量及其相关的回复[37］．在这个分析中同样重要的是回顾信息的内容和语气。串联在一起的一系列消息不一定是合作的标志;相反，它可能预示着一场争论。然而，通过消息发布来衡量协作事件可能不足以证明社区有效运作。一个社区必须满足其成员的需求才能持续下去。虽然可能有大规模合作的证据，但一些成员可能会发布问题，但没有收到对他们的问题的回应。

卫生系统集成

“卫生系统集成”这一类别指的是更大的系统、卫生过程和社会，其中可能会为外行实施卫生网站。此类别中的形成性评价参数包括评估标准和过程的定义(11，12]，即评估是否及如何很好地纳入网站的设计、开发和实施，以及道德和责任(11，它指的是在更大的医疗保健系统中，如何以及是否解决了在线提供信息的道德和责任问题。这一类中的总结性评价包括对场地影响的评估政府(2，19，20.),包括服务利用率(2]，或卫生保健系统和社区服务的使用率;护理协调(16，19]，指的是该地点可能影响卫生服务提供的方式;而且患者安全(16，或评估该场所如何或是否影响患者安全指标，如适当使用药物。该类别中的结果评估参数包括公众的影响(18，19]，指的是网站可能对更大的社区产生的任何一般影响，可能包括自我报告的结果或由特定社区定义的结果;成本效益(2，8，11，13，16，17，19]，指使用该网站及任何相关资源而增加的生命值;而且预期效果(8]，这是一个具体的评估，将根据项目的目标而有所不同，其中包括适当性(16，19]，或观察到该地点是否适合作为实现这些目标的手段，以及有效性(13，16]，指的是网站达到预期目标的程度。

卫生系统集成:注重协作性、适应性、互动性

对信息技术及其过程融入更大的卫生系统的评价在以前的框架中已得到很好的阐述。然而，值得注意的是，由于其扩展的能力，协作、自适应和交互技术可能在这一领域提供更大的利益和更大的意想不到的后果[38］．这些潜力能否实现还有待观察。

结论

我们提出了一个评估框架，为协作、自适应和交互式应用的五个主题提出了形成性、总结性和结果评估指标:人、内容、技术、计算机介导的交互和卫生系统集成。协作、自适应和互动技术在卫生保健和其他领域的使用越来越多，突出了评估的重要性。在某样东西有价值之前，我们需要确定它是否有效。协作、自适应、互动技术正变得无处不在，并迅速成为社会不可分割的一部分。在创纪录的时间内，促进合作的资源，如维基百科、Facebook、MySpace、YouTube和Orkut，已经加入了世界上使用最广泛的在线服务的行列。随着它们令人眩晕的上升，它们预示着一个时代的到来，在这个时代，公众可以使用巨大的权力来创造和分享知识，与人和机器交流，并以前所未有的自由水平发现和评估服务。

虽然速度略慢，但针对健康的协作、适应性和交互式技术正在出现，有望改变系统内所有利益攸关方的角色、工作流程、权利和责任[38］．然而，与任何其他干预措施一样，协作性、适应性和互动性技术也存在弊大于利的风险。能够见证一系列强大的新技术的出现，对社会产生深远而广泛的影响，是一种难得的荣幸。我们应该承担起这种特权所带来的责任，“超越炒作，剖析什么有效，什么无效”。39］．因此，有必要进行深思熟虑的、仔细的评估。

我们提供这个框架作为跨广泛应用程序和目的构建评估的一种手段。在某些情况下，可能没有足够的资源来进行评估，以解决该框架中列出的所有组件。在这些情况下，我们建议将评估重点放在与评估目标最相关的特定方面(人员、内容、技术、计算机介导的交互、卫生系统集成)。根据资助组织的具体要求定制结果评估，而不是试图解决项目中的所有不同组成部分表1在这个阶段中，将有另一种方法来减少测量每个阶段中所有元素所需的资源。框架中提出的每个组成部分也可能在已建立的计划中有超出评估措施的用途。例如，作为形成性评估列出的组件，特别是人员、内容和技术部分，也可以用于形成需求评估的组件或作为资助应用程序的一部分，并且该框架可以用于排除未充分利用的应用程序的故障。

评估在高质量的设计、高效的开发以及协作、自适应和交互应用程序的有效实现中扮演着关键的角色。在资源分配受限的时代，采用强有力和适当的评估框架将有助于确保协作、适应性和互动技术不辜负人们的期望，并有助于改善所有人的健康。