通过可视化日志数据分析基于web的干预平台的参与度

简介

在过去10年里，基于网络的改善健康的干预措施迅速发展，因为研究人员致力于利用互联网所承诺的覆盖范围和成本效益。1-6］．然而，居高不下的人员流失率使他们无法发挥其潜力。7，8］．随着研究语料库的增长，已经有人呼吁开发一种更科学的方法来设计和评估基于网络的干预措施:一种包括参与分析的方法。这种方法的一个重要方面是支持对用户如何参与基于web的干预的更细致的理解，或参与的科学[9-11］．

以前的研究主要集中在对参与度的总结性测量上，比如坚持程度[12，13]或介入暴露[14-16］．研究人员还确定了与依从性相关的因素，包括患者特征[17](如性别)、分娩的语境[18](如教室)、授课的各个方面[19](例如，治疗师支持)，以及干预本身的特征[20.(例如，定制的内容)。更直接地关注干预的交互式技术元素的尝试可能会促进参与，已经报告了交互式功能包含与结果之间的正相关[21-24］．

这样的总结性措施并没有捕捉到参与的时间要素，从而为基于web的干预措施的设计提供洞察。这一点在最近的研究中得到了呼应，研究表明，使用(坚持或接触)与结果之间并没有线性关系[25］．相反，不同研究之间的依从性差异可以用基于网络的干预的特征来解释，即交互式技术元素[26］．这两项研究结果表明，理解用户参与或使用模式的时间过程至关重要。

日志数据分析，类似于其他领域的网站分析[27，提供了一种捕获使用模式的方法。例如，已使用日志数据来说明特性使用频率随时间的变化(例如，反馈消息)以及分阶段的特性使用(例如，开始正念练习，但不下载它)[28］．这些作者建议进一步研究内容/功能集成和功能的内部可用性如何促进用户粘性。这样的工作提出了一个问题，即如何以一种方式来捕捉使用模式，这种方式将用户粘性定义为不仅仅是单个内容或功能元素使用的总和。

使用日志数据来理解参与过程的挑战在于如何将其组织起来进行生产性分析。在本文中，我们提出了一组可视化的方法，用于捕捉个人和群体的参与过程。这篇论文的目的是激发一场关于如何使用日志数据来理解基于web的干预设计的明确目的的用户参与的讨论。

方法

数据可视化:信息可视化

信息可视化可以定义为“使用计算机支持的、交互式的、可视化的抽象数据表示来增强认知”[29］．信息可视化可用于探索或交流一组数据[30.］．我们应用探索性序列数据分析[31，以突出数据的顺序(或时间)方面，如时间或模块号，这可以提供对参与度的洞察。虽然这种方法已应用于将会话事件分组为少数不同类别的日志数据分析[32]，对于连续数据的表示没有先例。

在设计可视化时，考虑Schneiderman的信息搜索咒语是有帮助的:“先概述，缩放和过滤，然后按需提供细节”[33］．这可以应用于单个可视化或链接一系列可视化。例如，描述个人导航路径的可视化可以显示所有会话的概述，允许对特定会话进行缩放，或选择特定事件或用户操作的详细信息。另外，整个队列随时间使用情况的可视化可以支持过滤(例如，按性别或初始抑郁评分)，以及按需链接到个人时间导航模式的可视化细节。

数据

可视化中使用的数据来自使用SilverCloud平台的两项研究，如下所述。第一个数据集来自英国一个初级保健心理健康环境中SilverCloud平台的小型试点试验[34］．收集19名参与者的结果数据、日志数据和访谈数据。数据的结合使我们能够深入探索个人的参与模式。为了补充这个小而详细的数据集，我们使用了一个更大的数据集，这些数据集来自大学环境中相同干预的使用[35］．第二个数据集包含326名参与者，以及超过44,838个记录事件，这使我们能够探索围绕更大队列可视化的问题。

数据转换步骤

探索性序列数据分析包括对原始数据序列的连续转换，直到产品能够做出回答研究或设计问题的陈述[31］．在这种情况下，原始日志数据集包括完成的每个操作的用户ID、时间戳和页面URL(统一资源定位器)，例如读取内容页、保存日志条目或更新活动。第一个数据处理步骤是将url转换为有意义的标签。内容页url被分配了指示顺序的标签。例如，以“content/9/54/93/”结尾的URL可以映射到“Module 2 sub1”或更简单的“2.1”。诸如“日志”或“正念”等功能的url被重新命名。

下一个数据处理步骤是识别会话，会话定义为在一段时间间隔内与系统的重复交互。为了避免计算用户没有活跃地使用系统的时间，任何不活跃时间超过阈值都将在新会话上开始计数。阈值是可配置的，对于这里给出的示例，使用的值是60分钟。设置门槛是为了允许用户重复观看视频或花时间为某些练习编写较长的文本。由于会话时间不是这些可视化中的特征，因此影响仅在于将数据分割为不同的会话。较短的阈值可能适用于某些干预措施或以会话时间为重点的可视化，以避免高估会话时间。

每一个单独的可视化都需要进一步的数据转换，构建在前两个步骤之上。例如，这包括提取每个会话中的使用日期和第一次和最后一次内容查看事件。

可视化工具

用于在本文中产生可视化的程序是在处理并已免费提供。将这些可视化应用到另一个数据集需要两个元素:(1)包含用户ID、时间戳和事件标识符(例如URL)的数据文件，用于所有操作;(2)将事件标识符映射到有意义的标签及其预期的顺序使用，并区分内容和其他特征的关键文件。事件标识符通常采用url的形式，但也可以使用其他格式。标识符不需要是唯一的——几个url可能映射到同一内容。

一个程序处理数据并输出一些电子表格，这些电子表格可以检查自述文件中详细的正确性。其他程序产生如下所示的可视化效果。图1是本文所考虑的可视化的基础数据模型。完整的代码和少量的测试数据可以在多媒体附件1．

‎ 查看此图

基于web的干预:SilverCloud平台

用于开发这些可视化的数据来自使用SilverCloud平台的研究。SilverCloud是一个富媒体的Web 2.0平台，可用于快速构建基于Web的交互式干预措施，以解决常见的心理健康问题。它专门通过以下设计策略来提高参与度:

• 个性化:鼓励用户将干预的所有方面结合起来，建立自己的计划或“工具箱”，以保持良好状态并管理当前和未来的情绪困难。
• 互动练习:用户可以参与各种媒体，如互动测验、视频演示、基于网络的练习和活动、家庭作业和移动日记。这些旨在鼓励对干预中提供的信息进行反思和个性化。
• 指导和支持:虽然主要是自我指导，但计划中的每个用户都分配了一个支持者，在整个干预过程中，他会就用户选择分享的活动提供特定的反馈。
• 社交功能:用户可以通过查看有多少人喜欢某个活动，或者通过分享对所有人都可见的活动的答案，来了解其他人在使用该系统。

每个模块的结构都是相同的，包括入门测试、视频、信息内容、互动活动，以及家庭作业建议和总结。此外，来自其他客户的个人故事和帐户也被合并到材料的演示中。

SilverCloud是一个有趣的数据来源，因为有各种类型的用户与系统的交互需要探索。作为一个平台，重点是构建干预的技术元素(设计策略)，而不是内容。样例平台可用于交付一系列程序(例如，抑郁症[36]和焦虑[37])。Sharry等人对抑郁症的实现(MindBalance)有更详细的描述[35]，包括视频概述。

专注于可视化

在本文讨论的可视化中，SilverCloud平台有三个突出的特点。首先，用户导航有多种可能性。可以采用线性方法，单击向前箭头进入内容设计者计划的下一页或活动。也可以通过干预选择自己的路径，选择从哪个模块和子模块开始。后一种方法类似于浏览网页。

其次，应用程序用于支持内容的参与。这包括一个互动日记，正念活动的记录，以及互动活动，比如创建一个“思想、感觉、行为”循环。有些应用程序包含可以离线下载和使用的内容。第三，通过每周回顾提供支持。客户的支持者，通常是健康专业人员，审查客户所分享的内容，并提供鼓励和指导。支持者可能会认识到并阐明客户所做的努力，或者建议一个特定的内容页面或活动。

图2-4举例说明刚才描述的用户与SilverCloud交互的三个主要方面(1)用户导航，(2)应用程序，(3)评论。

‎ 查看此图

‎ 查看此图

‎ 查看此图

结果

概述

本节介绍了四种可视化方法。第一个，导航图可视化，说明了个人参与的时间过程。第二、第三和第四可视化将第一个可视化的特定方面聚合到整个队列中。可视化条形图说明了单个用户在干预期间的使用时间模式，但它足够紧凑，可以堆叠，允许跨队列的使用情况进行检查和比较。Start-Finish Visualization描述了一个队列中用户会话的形状，显示了每个会话的开始和结束内容页面。最后，Next Action热图可视化通过干预聚合导航路径。

导航图可视化

描述

导航图可视化图5-7描述个人参与应用程序中嵌入的内容和交互功能的时间过程。它由两部分组成:内容使用情况的折线图和顶部应用程序使用情况的条形图。交互式版本包括一个垂直条形游标，使人们能够在直线图和条纹图之间排列事件。横轴显示了按顺序浏览的每个内容页面或应用程序。会议由空间和颜色划分。每个内容页由模块号和内容页号标记。例如，4.3是模块4中的第三个内容页。顶部是SilverCloud平台上的五类应用程序:内容内练习、正念应用程序、日志使用情况、支持者提供的评论和其他互动功能(例如测试)。它们是根据内容使用情况临时排序的。数据取自两个数据集。表1提供用于生成可视化的日志数据示例。

导航可视化获取了大量关于个人使用模式的信息。一眼就能看出(1)会话中浏览内容的范围，(2)会话中和会话间内容的重复，(3)会话内和会话间浏览内容的线性度，(4)应用程序随时间的使用情况，以及(5)应用程序和内容的穿插性。

‎ 查看此图

‎ 查看此图

‎ 查看此图

例子

图5而且6分别显示Janet和Robert的导航图可视化。Janet和Robert是两个持续使用的用户，他们每人都有超过58次的会话。两家公司都报告了使用这种干预措施的实质性益处。对比可视化结果可以立即看出这两个用户有着非常不同的使用模式。

Janet查看了一个模块中的所有内容页。我们还可以看到，她在一个会话中(如会话2)和整个会话中(如会话2、3、4、7、10和14)重复内容。除此之外，Janet以相对线性的路径浏览内容，查看下一个推荐页面。从应用程序的使用情况来看，大多数会话开始或结束时都会使用Journal。珍妮特还使用了正念应用程序，并阅读了她的支持者的评论。

另一方面，罗伯特有一个非常不同的使用模式。应用程序的使用比内容的使用更普遍。后者是稀疏的，并且在模块之间跳跃。然而，核心信念模块有很大的重点，它被详细地做了四次。一篇评论被浏览的次数(n=28)是惊人的，因为只写了8篇评论。

这些可视化最有趣的方面是它们的多样性。珍妮特在内容中以或多或少的线性方式前进，而罗伯特则跳来跳去。珍妮特专注于内容，罗伯特专注于应用程序。这种差异强调，并非所有用户都按照计划好的线性顺序浏览内容，而是在允许的情况下找到自己的路径。中描述的4个用户可以以更极端的方式看到这种差异图7．

这些可视化与从访谈中获得的反馈形成了有趣的对比。珍妮特形容她使用这款应用程序的方式是阅读每一页，但从不回头。虽然日志数据表明她确实阅读了每一页，但她也重复了大量的材料。如果没有可视化，这一点就不明显。相比之下，罗伯特发现很难集中注意力，他说他到处点击，直到找到他能联系到的东西。同样，尽管这确实是真的，但日志数据表明所有模块中的内容都被查看了。这些例子表明人们的用法可能不像他们描述的那么直接。

有些透视图是可视化无法捕捉的。如果没有采访用户，我们就不会知道Janet将干预视为一门待完成的课程，而Robert则将其视为帮助他度过不眠之夜的避难所。这解释了他们对内容的不同参与模式。另一个问题是，一些应用程序，如正念练习，可以在浏览器中运行或下载。罗伯特说他每天都从下载的版本中听这些练习。我们无法在日志数据中捕获这些干预使用的元素。

可视化图7明显不同的使用轨迹模式，很难通过手动检查数据来发现。从这些极端案例中，我们可以梳理出使用模式的重要维度。上面的两个例子说明了内容审查是使用的一个重要元素。在左边的示例中，审查是在每个会话中进行的，而在右边的示例中，审查是在查看了所有内容之后进行的。这些例子与许多基于web的干预中的强制线性使用形成对比，并表明一些总结性措施，如模块完成，可能并不总是合适的。

下面的两张图图7，连同图5而且6，让我们更深入地了解人们如何交织内容和交互功能的使用(称为功能的内部可用性[28])。在图7在美国，我们可以看到以应用为中心和以内容为中心的使用情况的极端案例，这表明偏好在人们参与的方式中的重要性。图5而且6同时，也要将这些对比鲜明的偏好展示给一个较低的极端，并迅速形成清晰的常规。例如，珍妮特在大多数会议的开始或结束时都坚持使用日记。通过查看可视化中呈现的数据，我们可以更全面地了解整个应用程序的参与度。

这些例子让人们注意到未来设计的途径，以及在评估基于网络的干预措施时通常做出的假设。例如，知道人们会反复返回与他们相关的内容，我们可能会通过展示新的例子或个人故事来“刷新”这些内容。在评估交互性时，这些图可以帮助超越孤立的特性使用的想法。例如，我们可以看看在会话中哪些特征被使用，看看是否有模式鼓励参与的数量或质量。

条形图可视化

描述

中的条形图可视化图8在治疗期间隔离基于网络的干预的时间使用，并使其在用户队列中具有可比性。横轴为天数，纵轴为用户堆叠。在使用干预措施的治疗期间的每一天都放置一个棒。用于生成该图的数据是参与者ID和日期。这些数据是从大数据集中摘录出来的。

这种可视化捕捉了(1)使用的长度和(2)使用的一致性。

‎ 查看此图

例子

例子是图8显示12个用户。关于可视化最引人注目的是，许多人使用干预的爆发，有时中间有很长一段时间。这是一种不同于大多数遵循指标中假设的一致性的使用模式。从设计的角度来看，这促使人们考虑用户粘性目标——是让用户每周都回来，还是确保每次爆发都让用户有事可做或想，从而可能导致行为的改变?

值得注意的是，在正式支持的8周期限之外，它的使用水平仍然很高。大多数研究倾向于关注与干预后结果测量相关的正式定义的使用周期。这表明其他收集干预后数据的方法可能是相关的。从设计的角度来看，可视化也很有趣，这表明在正式干预期结束后，为了提供适当的支持，探索人们如何在没有在线指导的情况下使用SilverCloud可能是有价值的。

开始-结束图形可视化

描述

开始-结束图形可视化图9绘制每个用户在每个会话中查看的开始和结束内容页。它提供了基于web的干预的会话使用的聚合可视化。在本例中，我们根据访问的整理页面的模块号对数据点进行了排序。这些数据是从大型队列中摘录出来的，为了适合页面，删除了部分(软件版本可以滚动)。

该可视化捕获(1)各个会话中涵盖的内容数量，(2)内容使用的方向，以及(3)模块完成的重叠。

‎ 查看此图

例子

这个可视化没有阶梯式的排列，建议人们一次完成一个模块。相反，我们观察到许多用户并没有从一个模块的开头开始，并在结束时停止。一些人花了几次时间来完成一个模块，而另一些人一次完成了几个模块。这是一个有趣的发现，因为许多干预措施是通过模块完成来衡量它们的使用情况的。

这种可视化还可以通过寻找公共断点来支持设计过程。例如，我们可以看到，更多的人似乎停留在模块4和模块5之间的中间点，而不是模块2和模块3。这一发现可能会引发可用性评估。与数据相结合图7，8和10，这表明介入在干预结束时减弱，我们也可以在这一点上探索不同的参与策略。在这种情况下，可视化作为进一步设计和评估工作的指针。

下一步行动热图可视化

描述

下一步行动热图可视化探索了基于网络的干预使用整个队列的线性。这种可视化为任何给定的内容页绘制了转到另一个内容页的可能性，从而创建了热图。横轴是标识内容页面的模块号，纵轴是下一个页面视图的模块号。如果参与者被要求以一种预先定义的方式进行干预，那么从左下角开始就会形成一条红色对角线。我们称之为线性使用。数据点分布的位置表明用户选择了其他路线。顶部和右侧的点是应用程序的使用情况，显示它们如何与内容穿插在一起。

这个可视化捕获了(1)使用的线性度和(2)潜在的可用性问题。

例子

我们可以观察到图10，第一个内容模块模块1的逐页使用率最高，模块2和模块3的趋势相似，但程度较轻。许多人没有完成模块0 -干预的介绍。审查和可选模块，分别是第6和第7，也不是经常进行。第一行模块1、2和3开头的红点表示人们一直在模块中进行互动练习。另一方面，我们可以看到人们在利用每个模块中的多条路径，专注于最感兴趣的内容，并在应用程序之间来回移动。

关于这个可视化，我们发现最令人激动的是，人们在使用多种导航路径的同时，仍然发现建议的导航是有用的。这种可视化也可能表明线性导航中存在明显的可用性问题。在这种情况下，空白对应于可选内容，其中旋转传送带中有多个不同的示例来说明同一点(在某些情况下多达10个示例)。虽然我们没有为这个干预发现任何可用性问题，但考虑到在创建这些可视化之前执行的持续迭代开发过程，这并不令人惊讶。

这种可视化的挑战在于以一种不会出现人工制品的方式组织原始数据。在本例中，我们在随机点上看到蓝点(低频使用)，例如从模块1跳到模块5。虽然偶尔会发生这种情况，如果有人四处点击试图重新找到一些东西，但也可能发生这种情况，因为正念应用程序可以从许多位置到达，而日志数据中没有任何指示。在应用程序开发时，没有考虑到从多个位置访问的应用程序应该有单独的url，以便于跟踪交互。

‎ 查看此图

讨论

主要结果

我们已经用基于web的干预展示了用户参与的四种可视化:导航图、条纹图、开始-结束图和下一步行动热图。这四种可视化方法提供了一种新颖的方法，可以通过个人使用的日志数据和队列使用的特定方面来查询使用模式。我们提供这些作为基于web的干预的用户参与的另一种观点，而不是更常用的总结性措施。在本讨论中，我们阐述了如何通过可视化来理解参与过程，从而支持基于web的干预的设计和评估。

设计

可视化提供了这些创作干预如何在不同粒度级别上检查数据以提高参与度的示例。导航图将注意力吸引到人们用于重温材料的策略上。作者可以检查大量的例子，以使他们理解材料在整体干预的时间关系中的不同方式。然后可以使用热图可视化对这些模式进行汇总检查。另外，通过可视化检查数据所提供的直观可以为在日志数据上构造统计查询提供基础。

个人使用模式的可视化提供了在设计过程中考虑个性化的机会。令人惊讶的是，个人使用模式的多样性图5-7．这一发现表明，寻找“最佳”交互性可能是错误的研究方向。相反，基于web的干预需要设计成能够实现个性化的使用，而不会让用户有太多的选择或缺乏方向。也有可能确定不同的使用风格，可以支持干预的特定方面的剪裁。正如在前面的例子中，这些可视化帮助明确了适当的研究问题，以追求更好的参与。

可视化还可以帮助发现可用性问题，这些问题可能掩盖了干预的潜在有效性。开始-结束图和下一步行动热图都迅速突出了队列导航的大趋势。如果许多人在开始-结束图中的一个模块中途停下来，这表明人们在这一点上失去了兴趣。在这一点上，干预设计者可能需要考虑参与策略。类似地，在“下一步行动热点图”中出现大的停顿表明许多人正在遵循与建议不同的路线，突出了潜在的可用性或内容问题。

日志数据可视化可能与其他类型的数据一起使用最有用。例如，它可以提供一种表征来支持定性访谈的经验启发[38来理解为什么人们以一种特定的方式使用干预。它还可以用作创建和计算用户粘性统计数据之前的探索性分析方法，目前Kelders & Gemert-Pijnen正在开发这种技术[39］．与其他方法一起，日志数据可视化可以增加对参与的丰富理解，以支持复杂干预措施的迭代设计方法[40］．

评价

日志数据可视化提供了一种方法来检查包含在评估指标和标准中的使用假设。这里提出的可视化问题隐含的线性使用假设，支持总结性依从指标，如干预完成或模块完成。例如，条纹图显示，依从性通常不是一致的，而是突然出现的，这表明基于每周使用情况计算的依从性测量不应孤立地考虑。导航图和开始-结束图都表明，模块完成度可能也不是参与度的准确反映。

使用可视化还为交互性提供了不同的视角。例如，导航图说明了内容摄入和交互活动的来回性质。比较不同的用户，我们还可以看到对某些交互类型的偏好是高度特定于个人的。这种数据视图使用户粘性的概念更加细致入微，从人们看到的内容转变为人们与之互动的内容。这对于关注参与质量的研究人员来说是一个重要的区别。它还提供了一种对交互性的看法，这种看法超越了对单个特性使用的简化。

测井数据可视化也为评价提供了新的机会。单靠总结性临床试验不太可能提供所需的灵活性，以解决基于网络的干预措施的持续不断的改进。所需要的方法能够适应技术发展的速度，并提供适合于基于web的干预可能在实践中使用的各种设置和配置的结果数据。参与可视化可以允许持续评估干预措施，因为它是改变，以纳入新技术或适应新的设置。可视化可以潜在地支持一个更动态的评估模型。为了达到这个目的，还需要进一步的工作来确定最佳的可视化方法。

结论

参与科学尚处于起步阶段。根据数据集的大小、分析的粒度和查看日志数据的动机，在可视化领域可以做很多事情。理解单个用户的体验(也许与定性反馈相关)是一个极端，而理解特定用户群体的粘性模式则是另一个极端。其他用途，例如客户自己反思与干预有关的自己的模式也是可能的。

我们提供这些可视化图，是为了展示通过日志数据理解用户粘性的一些好处。具体来说，我们展示了可视化如何(1)允许在不同粒度级别上检查内容或功能使用与整个程序的时间关系，(2)检测不同的使用模式，以考虑设计过程中的个性化，(3)检测可用性或内容问题，(4)启用探索性分析，以支持统计查询的设计，以总结数据，(5)为实时评估提供新的机会，并且(6)检查关于互动性的假设，这些假设是该领域中许多总结性测量的基础。

我们并不建议这些可视化是最终的集合。实际上，可视化在某种程度上需要特定于基于web的干预的设计意图，因为它最适合探索性分析。因此，研究界不太可能为所有干预措施确定一组可视化，但我们认为有一个起点将是有用的。我们已经免费提供这些程序，以鼓励其他人用他们自己的数据来探索这些可视化。

社区内的共享工具集允许对数据进行探索性而不仅仅是确认性的分析，这将需要一定程度的标准化，例如通过在线干预的日志数据的通用格式。公共字段，如事件标识符(URL)、时间戳和用户标识符是明确需要的，其他数据点也可能被考虑，如自我报告测量和治疗事件(例如，接受混合治疗的客户端的支持会话)。文中提出的模型图1说明了这种数据的一种可能的排列方式。这将允许研究人员开发不同的干预措施，以共享一套通用的工具来可视化和分析日志数据。

在这一领域的未来研究可以帮助提供严格的开发参与，目前寻求解决阻碍定期使用基于网络的干预措施的坚持问题。