测量移动目标的影响:迈向评估协作自适应交互技术的动态框架

介绍

大多数关于评估基于web的健康应用程序的出版物都集中在旨在向患者、其护理人员或卫生专业人员提供健康信息的网站上[1-3.]。随着技术的变化，与技术评价有关的新挑战也出现了[1]。这与协作、自适应和交互技术特别相关。我们将协作、自适应和交互技术定义为以下技术:(1)以传统或新颖的方式促进用户之间的协作;(2)支持根据用户需求或偏好对形式、功能和内容进行调整;(3)使用户能够通过显式交互机制(如有目的地来回发送数据)和隐式交互机制(如通过传感器交换数据)与技术进行交互[4]。协作、自适应和交互技术包含了许多Web 2.0应用程序，这些应用程序已经在以下框架中进行了描述:(1)社区，这与协作有关;(2)信息(再)组织，这必然依赖于适应和交互[5]。我们将协作、自适应和交互技术的概念视为一个总括性的定义和术语，它也包含了最近由Eysenbach总结的Web 2.0健康应用程序的五个主要方面[6]，即:(1)社交网络(协作和互动)，(2)参与(协作和适应)，(3)调解(协作)，(4)协作(协作)，(5)开放性(适应和互动)。在本文中，我们提供了与健康相关的网站评估设计的背景信息，描述了与评估相关的框架，并提出了一种动态方法，可以应对与评估协作、自适应和交互式技术相关的挑战。

方法

通过检索MEDLINE(1990 - 2007年11月)、CINAHL(1990 - 2007年12月)、Cochrane、PsycINFO(1990 - 2007年11月)、Social Science Abstracts and Citation Index(1990 - 2008)和ERIC(1990 - 2007年11月)确定符合条件的文章;(二)作者个人收藏;(三)相关出版物的参考书目。该搜索策略是在与医学图书管理员协商后开发的，其中包括一个与互联网相关的术语字符串，该字符串使用布尔运算符与一个求值框架字符串交叉匹配。例如，MEDLINE搜索使用与技术相关的术语(Internet、World Wide Web、信息学、在线)、Web 2.0术语(博客、wiki、播客、标签)、与患者相关的术语(其中一些包括消费者参与、教育/非专业、消费者参与)和评估概念(例如包括结果、过程、定量)。请参阅多媒体附录1获取用于每个数据库的策略和搜索词的完整列表。这些搜索在一年后文章被接受发表时再次运行(请参阅多媒体附录2）.

在同行评议期刊上发表的英文文章被认为有可能被纳入评议:

1. 如果它们描述了一种通用的评估框架，适用于广泛的面向非专业公众的基于网络的健康应用;或
2. 对于特定于健康的网站，如果他们提供了完整的过程描述，以评估这样一个框架符合标准第1点。

我们所说的“通用”是指适用于提供信息或工具以促进决策支持、社会支持、自我管理或自我护理支持的网站的框架。

关于提供某种形式的治疗或治疗(如认知行为治疗或与卫生保健专业人员交流)的网站评估的文章被排除在外，因为这些网站的目的与上述网站明显不同。这些网站实际上是一种治疗形式或临床接触本身的延伸，而不是获取信息和支持的手段。因此，他们有重要的评估标准，超出了网站本身。我们还考虑了那些描述评估单一正式决策辅助工具、诊断辅助工具或为医疗专业人员的教育或使用而设计的场所的文章。

三位研究者(LOG, HW, JB)独立地从文献检索中随机选择了100篇文章的标题和摘要。单测量类内相关系数(ICC)为0.89 (95% CI 0.85 ~ 0.95)，采用SPSS v15.0，采用双向混合效应模型计算。在一年后的重复搜索中，遵循了相同的程序。其中两名评价员的评估没有任何差异，因此不适用国际商会的计算。在这种情况下，在随机选择的100篇文章中，有98篇是一致的。在这两种情况下，一致程度被认为足以支持对搜索总结果的三分之一进行独立评价。在独立评估过程中，如果某一特定引文的资格被判断为有问题，研究者将其纳入这一初始筛选步骤，以便其他研究者对其是否满足纳入标准进行评估。调查人员开会审查并确认彼此的调查结果。两位作者(HW和JB)随后审阅了所有可能符合条件的文章的全文。

如果文章描述了一个适用于基于网络的、面向消费者的健康应用的评估框架，并且该评估框架至少可以归入三个核心评估阶段中的两个阶段，则文章将被选择纳入最终分析:(1)形成性评估，(2)总结性评估，(3)结果评估。在每个类别中，参数是根据这些时间阶段组织的。为了澄清这些阶段之间的实际差异，我们将形成性评价描述为开发和实验室测试阶段，总结性评价描述为现场测试阶段，结果评价描述为总体影响评估阶段。

对于这12篇文章中的每一篇，我们都生成了一个完整的评估参数列表。通过多维卡片排序对参数进行汇总和组织[7]。使用交叉比较分析方法，我们探索了跨越三个评估阶段的共同主题。

结果

最初的文献检索共产生3304条引用，其中41条被认为可能符合纳入综述的条件。在审查完整的报告后，13篇描述评估框架的文章符合所有纳入标准。从文献检索中鉴定出7篇文章;其中6人在个人图书馆和参考书目中被确认。两篇文章[8，9]被视为一个，因为它们讨论了相同的评估框架，产生了12个分析集。在纳入的12篇文章中，有4篇描述了专门为基于web的、面向消费者的健康网站设计的评估框架，而8篇描述了一般为电子健康应用设计的评估框架。总体而言，11项包括形成性评价要素，所有12项包括总结性评价要素，10项包括结果性评价要素。没有一篇文章全面讨论了所有三个评估阶段。描述此过程的流程图可在多媒体附录3．在第二次搜索中重复了相同的步骤，表示此过程的流程图可以在多媒体附录4．

我们确定了跨越三个核心评估阶段的五个主题。这些包括强调:(1)受网站影响的人，(2)网站的内容，(3)网站的技术，(4)人与网站之间的人机交互，以及(5)对更大的卫生保健社区或卫生系统集成的影响。这些主题反映了核心属性，以用户为中心，以上下文为中心，以功能为中心，Currie [10在任何电子卫生评估框架中都应该解决这些问题。

在构建这个框架的过程中，我们观察并填补了与协作、自适应、交互式应用程序相关的空白。例如，在评估促进用户之间协作的应用程序时，我们不仅要考虑人与计算机之间的交互，还要考虑以计算机为中介的人与人之间的交互。因此，我们将这个主题称为“计算机介导的交互”，以涵盖这个更大的范围。审查中的文章在结果评估栏中几乎没有包含与“内容”、“技术”和“计算机中介交互”类别相对应的元素，这可能反映了一般信息网站，其静态内容主要由网站管理员管理，不需要在评估的结果阶段处理这些参数。然而，协作、自适应、交互式应用程序的本质要求评估人员在项目的结果阶段考虑和评估这些参数。

有人认为，“交互式的、以用户为中心的、动态的和不断发展的……应该有适合这些方面的措施[27(第S124页)。总的来说，迄今为止的评估框架展示了一种日益增长的趋势，即灵活的、以用户、上下文和功能为中心的迭代评估设计，并且在过程的每个阶段使用多种方法解决多个问题。其他人也观察到并报告了电子健康评估方面的类似趋势[9，27，28]。在评估采用协作、自适应、互动技术的卫生站点时，这些特征将被视为一个问题，这些技术比它们的前辈更具流动性、动态性和互动性。

讨论

一种评估协作、自适应和交互技术的动态框架

已确定的框架都不符合协作、自适应和交互式技术的评估需求;因此，我们提出了一个新的动态框架表1下面将详细描述。该评估框架建立在我们对现有消费者健康网站评估框架的审查和综合以及最近对适应性网络技术的描述的基础上[29]。与新Web技术相关的评估标准的结合解决了我们在审查中确定的差距，并解决了与协作、自适应、交互式技术相关的技术变化，强调了其固有的社会和动态特性。在我们的综述中，文章中确定的元素被相应地引用，而添加、扩展或调整的元素则反映了特定于协作、自适应和交互式技术的新的评估领域斜体字体。

人

“人员”类别包含与使用或开发网站或可能受网站实施影响的个人相关的参数。在这个类别中，形成阶段的评估参数包括利益相关者和利益相关者需求的识别［2，8，11，12，14，15，17，18，20.]。利益相关者必须包括最终用户，也可能包括卫生保健提供者、资助机构、倡导团体、家庭照顾者以及负责网站设计、开发和批准的人员。与这一类相关的评价任务包括正式的需求评估、确定潜在用户的关键特征以及与相关利益攸关方协商。在总结阶段，这类参数包括:(1)用户特征［15]，指的是用户的特征，如计算机熟练程度[15，16]和可能影响使用的人口统计学特征或疾病特征[2，11，14];和(2)用户的角度［13，14]，其中包括用户或潜在用户对他们的产品的反馈使用意图网站[16),他们满意度通过网站[8，13，14，16和他们的使用动机网站的[14]。此类别的结果评估包括调查应用程序对病人的结果，包括使用该网站的人或该网站的设计对象的心理健康、健康行为和生理结果[2，11，13-17，19，20.]。的对人际关系的影响组件(2，19]包括对医患关系变化或缺乏变化的评估[15]。

人:关注协作、自适应、互动元素

在形成阶段，“人”这一类别不仅要评估利益相关者的信息需求，还要评估将他们从网站用户转变为动态企业转移或产生新知识的贡献者和合作者的更广泛的利益。我们称之为“利益相关者利益评估”。在总结阶段，评价范围必须扩大，以反映从被动学习到主动参与的转变。使用动机一个特定地点的价值可能不再通过一个地点的单一或小的目的集来推断，可能需要更彻底地评估。用户特征应包括卫生知识、卫生算术[30.，31),而电子健康素养［21]，指的是人们有效利用网上健康信息的能力。用户特征也应该包括参数情感特征允许对影响社会互动的因素进行评估，如动机、挫折、参与和脱离[29]。前几代的健康网站可以被视为独立的Web目的地，用于小范围的特定目的，例如查看网站上包含的信息或获得其他信息网站或来源的转介。虽然通信元素(例如，基于Web的消息论坛、新闻组和邮件列表)以前是可用的，但协作、自适应、交互式应用程序和特性的结合，通过扩展用户可能在网站上执行的功能和任务，以及通过创建或加强与网络上其他位置的联系，给健康网站带来了新的复杂性水平。因此,用户的认知风格也可能在网站设计中发挥重要作用，因为个人是冲动还是反思，概念还是推理，主题还是理性等[29会对他们如何体验电脑媒介互动产生影响。最后，我们建议结果评估可以有效地包括对健康的影响Caregiver-patient关系，特别是在应用程序旨在解决涉及照顾者的健康和生活状况的情况下。

内容

“内容”类别描述了与网站上所有内容相关的参数，包括文本、图像和多媒体组件。在形成阶段，对内容的评估可能包括对内容的评估质量与信誉，例如评估内容代表现有证据的准确性以及描述质量的好坏[2，8，11，12，14，16];实用程序［2，13，16]，其中包括属性，如完整性在网站项目的背景和目标范围内的内容[13，16];可理解性，指文本的可读性统计、通俗易懂的语言和翻译选项、医学语言和缩略语的解释、数字或图形信息的显示格式选择、图像的清晰度等内容方面[2，13，16];和相关性，指每项内容对潜在用户健康状况的适用性[13，16]。这些参数可以由专家和/或目标用户群体的成员用标准化的度量或判断来评估。在总结阶段，此类别中的参数包括质量与信誉［8]，在此阶段指的是用户对这些属性的感知，例如他们是否认为内容值得信赖和可信，以及主观效用［17]，或者实际用户如何评估在形成阶段描述的实用元素，以及用户对网站上信息有用性的总体评估。评价方法主要包括通过诸如调查等反馈机制与用户直接协商。最后,个性化水平［13]表示用户作为个体对其适用和有用的信息的访问，表示参数相关性从形成阶段开始，在实践中实施。

内容:关注协作、自适应、互动元素

在协作、自适应、交互式应用程序中，内容的潜在流动性对评估提出了新的挑战。向动态、用户生成内容的转变需要改变可信度的描述方式及其随后的评估[33]。在这个新框架中，重新关注内容质量与信誉(单独的，像在一个作者的博客中，或者集体的，像在一个wiki中。)随着用户生成内容的增加，读者必须准备好评估每个条目，而不是每个网站的可信度。分析用户所产生的内容因此成为评价的重要组成部分，并纳入范围质量和信誉评估扩展了来源可信度，包括关注消息可信度和中介的可信度[34]。此外，自适应和交互特性支持增加个性化水平，扩大了对这一元素的分析范围，包括更详细地评估网站内容对每个用户的个性化程度。

协作、自适应、交互式应用程序的结果评估为评估创造了全新的需求和途径。对于支持用户生成内容的网站，内容制作成为一个重要的产出，应该进行调查。对用户生成内容的评估可能包括对其进行评估形式(叙述，数字和汇总)和自然(建议、意见、个人信息和情感支持)。用户生成内容的定位也可以通过检查用户提供的内容如何在站点内框架来评估。例如，用户生成的内容是站点的中心还是外围?网站用户与临床医生和研究人员社区之间是否存在反馈或对话机制?［35]。

技术

“技术”类别是指用于创建和运行站点的底层技术。在回顾的文章中讨论的主要形成性评价参数是系统的鲁棒性．此参数包括与该技术的性能和功能有关的各个方面[19]。系统性能指网站的基础设施或架构的质量，包括网站加载的速度，它可以支持多少并发用户，以及网站对增加的请求的响应能力。[13，16，17]。功能和特性指使用者使用不同的浏览器应用程式，在技术上可在网站上做的事，以及网站的网页和外部连结在适当程度上载入，而不会出现错误(例如404错误，表示找不到网页)[8，12，13，16，17]。隐私指保护数据，包括存储的数据和传输中的数据，防止未经授权或不希望的披露，以及安全指在面对外部威胁时保持对网站及其内容控制的能力[13，16]。在总结阶段，评估参数包括使用情况统计，或衡量网站的使用情况，例如:支安打，或每个页面被调用的次数;游客，这是指访问网站的不同用户的数量，可能包括对新访客和回头客的评估;吃嫩叶的动物，或使用本网站的人士所使用的网页浏览器;的发病率错误，其中访客或软件请求不存在的文件或应该存在但不存在的文件[2，11，14，15，16，17]。这些指标通常使用日志文件分析进行评估[22]。在此阶段可能评估的其他参数包括系统的可靠性，指的是正常运行时间和停机时间，即网站可供使用的时间，以及数据损坏或丢失的时间[8，16，19),而速度，其中包括因系统负荷而导致性能下降的措施，以及在适当情况下，随着数据库的增长而采取的数据库性能措施[13，16]。与此单元相关的大多数评估参数可通过日志文件分析或Web分析进行评估[21]。

技术:关注协作、自适应、交互元素

将新技术纳入健康网站有助于转移几个评估类别的重点。广泛的形成性评价隐私和安全度量对于基于web的应用程序将变得特别重要，因为它使数据能够以新的方式共享。很少甚至没有用户生成内容的传统信息网站没有同样迫切的需要来考虑这些内容的安全性或隐私边界，因为人们共享敏感的、个人的和可识别的健康信息可能会挑战隐私边界。系统互操作性和平台在适用的情况下，必须被视为附加的评价参数。系统互操作性指的是该网站与其他网站通信的良好程度，以及在适当的情况下，该网站与其他网站协同使用的良好程度。这可能包括应用程序编程接口(API)兼容性和数据可移植性，允许站点集成和交互，如mashup和联合feed [5]。平台/可移植性指网站在其他设备(包括小屏幕移动设备，如个人数字助理(pda)和移动电话)上的浏览和使用效果。

在总结阶段，协作、自适应和交互技术的动态特性促使对应用程序的评估当前技术中的定位和标准的兼容性．前者是指应用程序的技术流通;后者反映了站点遵守Web标准和特定于健康的标准(如HL7)的程度。这些考虑导致结果评估动态演化这意味着它对新技术和社会趋势的反应能力。协同开发模式指在项目结束时如何设想场地的持续性质。这就提出了一个问题:做开源方法确保平台的动态增长?

电脑仲介交互

“计算机介导的交互”是指对用户与界面交互和通过界面交互的评估。在形成阶段，评估参数包括可用性［2，8，11，13，14，17，18]，指的是人们使用该网站的直观程度[23]。在这个阶段，可用性通常通过启发式评估和目标用户样本群的可用性测试来评估。其他参数包括可访问性［12，17]，或者为那些可能有使用障碍的人设计的界面有多好，比如视力、运动或认知障碍[24，25];社交能力［18，支持社会互动的能力;和信息架构［11，14]，或网站内的内容组织得如何，以支持不同的信息使用行为[26]。在总结阶段，此类别中的评估参数包括用户对形成阶段评估的许多属性的看法。这些包括:用户视角下的可用性［8，13，15，16，19]，指的是实际用户对他们使用网站的方便和直观程度的反馈;用户对无障碍的看法［16，17]，指的是对使用障碍和推动因素的反馈;展示了社交能力［18]，它解决了在用户之间促进社区的机制，并评估它现在是否真的是一个社交网站，因为它有一个功能良好的社区;和可寻性［2]，它指的是寻找信息的访问者找到网站的能力。这一类中的许多参数可通过与用户协商(如在线调查)进行评估。有些，如可查找性和展示的社交性，也可以通过用户活动的度量来推断。

计算机媒介交互:关注协作、自适应、交互元素

在形成阶段，向协作、自适应和交互技术的转变扩大了交互研究的范围。在协作网站的背景下，这一类别不仅涉及与技术的交互，还侧重于计算机辅助与他人的交互。因此，在这个类别中，我们建议额外关注形成阶段的参数，例如社交能力［18]，这是指网站是否以及如何设计支持社区互动[36]，我们提出了一个额外的衡量标准，交互性或者界面是否支持自适应的、交互的人机行为，比如提供界面个性化的途径。

在总结阶段，向“计算机中介交互”的转变扩大了评价和评估的范围。可用性和可访问性测试必须结合对用户交互和不断变化的界面的评估。用户生成的内容，用户发起的信息重组，以及原则永恒的β［32]，其中界面被假定为经常更改，可能都有助于用户看到的界面更改。展示了交互性指网站访问者如何以及是否使用网站的交互功能。Preece及其同事[18在社交启发式方面做了大量的工作，迄今为止，他们确定这些启发式主要是针对社区的。使用CAI工具的健康网站明确提倡协作作为社交能力将需要对用户交互产生的实际协作进行评估。

还应在结果评价阶段对“计算机介导的相互作用”进行评估，并在持续的基础上进行监测和改进质量。社区发展指对不断发展的站点是否以及如何支持社区互动的回顾性评估。随着时间的推移，用户社区如何响应站点的问题被称为协作的进化．该参数的评估包括汇总统计和对包含协作特性的站点内协作证据的纵向分析。为参与者提供信息交换机制的站点现在可能包括允许读者通过发表评论提供反馈的博客。如果评估的目标是评估社区成员是否使用该网站相互协作，则可以通过检查参与者是否定期交换信息来进行分析[37]。例如，一个博客可能会吸引读者每天、每周甚至每月发表一些评论，这样的响应率可能会随着时间的推移而变化。协作必须有一些交互作用。衡量这一点的一种方法是查看张贴的消息的数量及其相关的回应[37]。在此分析中同样重要的是审查消息的内容和语气。串连在一起的一系列信息不一定是合作的标志;相反，它可能表示一个论点。然而，通过消息发布度量协作事件可能不足以证明社区有效地运行。一个社区必须满足其成员的需要，才能维持下去。尽管可能存在大规模协作的证据，但一些成员可能会提出问题，而没有收到对其问题的回应。

卫生系统整合

“卫生系统整合”类别指的是更大的系统、卫生过程和社会，在这些系统中，可以实施面向外行人的卫生网站。此类别中的形成性评价参数包括评价指标和过程的定义［11，12]，这意味着是否以及如何很好地将评估纳入网站的设计、开发和实现中，以及道德和责任［11]，它指的是如何以及是否在更大的医疗保健系统中解决了在线提供信息的道德和责任问题。总结性评价包括对场地影响的评估政府［2，19，20.),包括服务利用率［2或卫生保健系统和社区服务的使用率;护理协调［16，19]，指的是该地点可能影响保健服务提供的方式;和患者安全［16]，或评估该地点如何或是否影响患者安全指标，如药物的适当使用。此类别中的结果评估参数包括公众的影响［18，19]，这是指网站可能对更大的社区产生的任何一般影响，可能包括自我报告或由特定社区定义的结果;成本效益［2，8，11，13，16，17，19]，指因使用场地和任何相关资源而增加的健康收益;和预期效果［8]，这是一种针对具体情况的评估，根据项目的目标而变化，其中包括适当性［16，19]，或整体观察到的场地适宜性作为实现这些目标的手段，以及有效性［13，16]，指的是网站实现其预期目标的程度。

卫生系统整合:注重协作、适应、互动要素

在以前的框架中，对信息技术及其进程融入更大的卫生系统的评价已经得到了充分的阐述。然而，值得注意的是，由于其扩展的能力，协作、自适应和交互式技术可能在这一领域提供更大的利益和更大的意想不到的后果[38]。这些潜力能否实现还有待观察。

结论

我们提出了一个评估框架，提出了协作、自适应和交互应用的五个主题的形成性、总结性和结果评估指标:人、内容、技术、计算机介导的交互和卫生系统集成。在卫生保健和其他领域越来越多地使用协作、适应性和互动式技术，凸显了对这些技术进行评估的重要性。我们需要在某样东西具有价值之前确定它是否有效。协作、自适应、交互式技术正变得无处不在，并迅速成为社会不可分割的一部分。在创纪录的时间内，维基百科、Facebook、MySpace、YouTube和Orkut等促进协作的资源加入了世界上使用最广泛的在线服务的行列。随着它们令人眩晕的上升，它们预示着一个时代的到来，在这个时代，公众可以运用巨大的力量来创造和分享知识，与人和机器交流，以前所未有的自由寻找和评估服务。

尽管步伐略慢，但卫生领域的协作、适应和互动技术正在出现，有望改变系统内所有利益攸关方的角色、工作流程、权利和责任[38]。然而，与任何其他干预措施一样，协作、自适应和互动技术也有弊大于利的风险。目睹一套新的强大技术的出现是一种难得的特权，这些技术可能对社会产生深远而广泛的影响。我们应该承担起这种特权所带来的责任，“超越炒作，剖析什么有效，什么无效”[39]。因此，进行深思熟虑、仔细的评估是至关重要的。

我们提供这个框架作为跨广泛应用程序和目的构建评估的一种手段。在某些情况下，可能没有足够的资源来进行处理此框架中列出的所有组件的评估。在这些情况下，我们建议将评估重点放在与评估目标最相关的特定方面(人员、内容、技术、计算机介导的交互、卫生系统集成)。根据资助组织的具体要求调整结果评估，而不是试图解决项目中的所有不同组成部分表1在这个阶段内，将有另一种手段来减少测量每个阶段中所有要素所需的资源。框架中提出的每个组成部分也可能具有超出已建立的计划中评估措施的用途。例如，作为形成性评估列出的组件，特别是人员、内容和技术部分，也可以用于形成需求评估的组件或作为资助应用程序的一部分，并且框架可以用于对未充分利用的应用程序进行故障排除。

评估在协作、自适应和交互式应用程序的高质量设计、高效开发和有效实现中起着关键作用。在资源分配受限的时代，采用强有力和适当的评价框架将有助于确保协作、适应和互动技术不辜负期望，并有助于改善所有人的健康。