在在线干预中使用多重估算来适应超时

简介

跟踪内容曝光时间

随着基于互联网的行为干预变得越来越普遍，研究人员了解人们如何与这些程序交互变得越来越重要，包括参与者花费在查看单个内容页面和与整个程序交互上的时间[1-3.］．接触时间是参与的几个重要代理之一，可能是项目对参与者的知识、态度和行为的预期影响的重要中介。

曝光时间可以通过监控每个网页何时打开或退出，或浏览器本身何时关闭来跟踪。更复杂的软件可以通过跟踪击键或鼠标点击来进一步评估特定网页上的活动，但没有软件能够区分用户是在积极阅读或浏览页面，还是在周围进行其他活动。此外，跟踪活动也有限制，比如在单独的浏览器或窗口中查看内容，甚至在其他开放的程序或应用程序中并发工作。在所有情况下，结果将出现在程序网页上的长时间不活动。

应对这些长时间不活动的常见策略是在预定的时间后暂停运动(例如30分钟)[4-11］．这种策略作为结束程序的一种手段是有意义的，但是依赖这些超时期间的时间戳数据作为参与者实际接触开放网页中程序内容的时间指标是有误导性的。其他研究人员允许长时间的页面浏览，没有超时功能，但为了分析目的，会在实际浏览时间后截断假设的实际浏览时间[5-7，12，13］．由于这两种方法对于测量上网时间的目的是等效的，我们将它们等同对待，并将它们分别称为“超时”。

不幸的是，上述两种方法在估算参与者积极浏览在线内容的时间时都不理想。每个人都可能高估或低估了真实的观看时间。个人花在网页上的实际时间长度是未知的，导致信息丢失。因此，排除所有导致超时的页面视图与完整的案例分析相同，分配任意长度的时间与单一的、不知情的归责方法相同。众所周知，完整的案例分析可能会导致偏差和功率的降低，单一的imputation也一样[14-16］．作为另一种分析方法，我们建议使用标准的缺失数据方法，特别是多重imputations (MI)，以适应在分析在线时间时长时间不活动或超时的情况。

多重估算是一种灵活而直接的方法来容纳缺失的数据，它使用可用的观测信息来预测缺失信息的值。标准的软件和简单的公式可以用来将多个imputation纳入分析。我们概述了如何实现多种估算方法，回顾标准公式，以适应导致超时的页面视图。例如，我们使用了一项名为“关于戒烟的问题”的在线戒烟干预随机试验收集的数据”(问²)试验[10，17］．使用该试验的数据，我们演示了处理超时数据所选择的方法如何显著影响有关程序暴露的结论。

关于退出试验的问题

的问²该试验是由华盛顿州西雅图市的群体健康研究所和密歇根州安阿伯市密歇根大学健康传播研究中心合作进行的。关于研究设计和方法的详细信息已在其他地方发表[17］．简而言之，研究人员从一个大型区域健康计划人群中招募成年吸烟者，并邀请他们参加一项随机临床戒烟试验;然而，参与者不必有戒烟的兴趣来注册。这项全因子随机试验的主要目的是18]的目的是评估四种特定设计特征或因素的对比水平对吸烟者的戒断和利用通过他们的健康保险提供的辅助治疗(咨询和药物治疗)的影响。每个设计因素的对比水平对项目参与度的影响也进行了探索，并已发表[10］．

该试验的参与者被随机分配到四个设计因素的16个不同水平组合中的一个，其中一半的参与者被分配到每个因素的两个对比水平中的一个。随机分组根据参与者戒烟准备程度的基线测量进行分层。这四个因素和每个因素的两个对比层次分别是信息语气(说明性和动机性);导航自主权(指定与非指定);主动的电子邮件提醒(是vs否);以及推荐信的可用性(是与否)。在这里，我们专注于比较两种不同水平的信息语调对项目参与度的影响，通过在研究注册后的头两个月评估的在线干预内容所花费的总时间来衡量。一半的参与者随机接受以说明性信息语调写的干预内容，另一半随机接受以激励性语调写的干预内容。以说明性口吻撰写的干预内容具有说教性，直接建议吸烟者戒烟，并具体说明如何实现这一目标。相比之下，动机性信息的语气与动机性访谈的主要原则一致(表达同理心、发展差异、抵抗、支持自主性和自我效能)[19］．

的问²每次参与者访问干预网站时，程序都会收集自动跟踪数据。这个自动收集过程记录了每个参与者访问网站的日期和时间，以及每次通过退出干预网站、关闭浏览器或移动到不同的干预网页或同一浏览器窗口中的外部网页来访问或离开内容页面时的个人日期/时间戳。的问²在线干预包括一个自动超时功能，可以在参与者不活动30分钟后让他们退出该项目。

方法

倍增输入页面浏览时间

缺失信息通常根据假设的缺失数据生成过程进行分类，也就是说，影响特定数据元素缺失或观察到的概率的决定因素。一般的缺失数据生成过程有三种:完全随机缺失(MCAR)、随机缺失(MAR)和非随机缺失(NMAR) [15，20.］．MCAR假设数据元素缺失的概率独立于观察到的和未测量的信息。这在实践中不太可能发生，并且是完整的案例分析是公正的唯一情况(权力的减少总是发生)。较少限制的MAR生成过程假设数据元素缺失的概率取决于观察到的信息，而NMAR意味着缺失的概率取决于观察到的和未测量的信息。

多重计算是容纳缺失数据的一种灵活而直接的方法。Imputation方法使用观测到的信息估计预测模型，并用估计的预测模型中的样本替换缺失的数据元素。采用多种imputation方法优于单一imputation [15，16，21]，并重复利用估计的预测模型来创建几个完整的数据集。然后对每个完整的数据集进行分析，就像观察到所有信息一样，并在每个完整的数据集上组合信息。

当需要多元填充模型时，有两种常用的方法来估计预测模型(即，当多个变量包含丢失的数据或一个纵向变量随着时间的推移具有丢失的信息)。一种方法假设所有记录变量的联合预测分布[22，23]，另一种方法分别为每个信息缺失的变量估计单独的条件预测模型[24-26］．第二种方法被称为链式方程多重imputation (MICE)或全条件规范，由于其计算效率和灵活性而越来越受欢迎。MICE过程可以很容易地适应二进制、分类和连续变量，以及更复杂的数据挑战，如有界变量值和个人子集的输入信息。由于这些原因，我们使用MICE来估算丢失的页面浏览时间(即页面浏览超时的时间)。

MICE方法循环使用每个变量的缺失信息，估计每个变量的回归模型。然后用这些基于回归的预测分布的样本替换缺失值，其中包括适当的随机误差。有几个内置和独立的软件包可实现MICE程序[27-30.］．MICE算法首先用朴素值(例如，变量观测值的中位数)来输入所有缺失的信息;然后，考虑包含缺失信息的第一个变量(变量1)(通常是缺失数据最少的变量)。基于回归的预测模型是使用变量1的观测值和所有其他变量的观测值和天真的估算值来估计的。通常所有其他变量都被用作预测因素，除非分析师选择限制预测因素的集合[31，32］．从变量1中朴素地估算的值被从这个预测模型中提取的估算值所取代，然后继续到第二个缺少信息的变量(变量2)。使用变量2的观测值、变量1的观测值和新估算值，以及所有其他预测因子的观测值和朴素地估算值，来估计一个预测模型。然后将变量2的原始估算值替换为从这个新估算的估算模型中提取的估算值。注入过程循环遍历所有包含缺失信息的变量，用新估计的注入模型来替换天真地注入的缺失值。当MICE算法循环遍历所有缺少信息的变量时，这被称为一次“迭代”。然后重复循环，将第一次迭代中的估算值替换为第二次迭代中新估计的预测模型的估算值。使用多次MICE迭代以确保imputation已经“稳定”，这样变量循环的顺序不再影响imputation值[24，31］．

MICE算法的迭代特性提供了优点和缺点。虽然MICE程序在实践中已被证明是有用的，但它没有替代imputation方法的坚实的理论依据。例如，不能保证收敛性(即“稳定”的imputation值)[24，25］．也有可能，条件归因模型将被估计为不存在与所有条件分布一致的联合多元分布。虽然这些缺陷在理论上可能引起合理的关注，但在实践中，它们似乎通常不值得关注[21，24，33，34]，而MICE越来越多地被用来弥补分析中缺失的数据[31，35-37］．

一次米已经创建了完整的数据集，每个完成的数据集都用于计算兴趣的估计值(参见#1)多媒体附件1)，其中下标米用来表示估计对应于米-th完成的数据集。的平均值米估计(见第2条)多媒体附件1)作为感兴趣参数的估计值。Rubin开发了一个简单的公式，用于估计多个imputation估计器的标准误差，该公式考虑了估计器的传统抽样可变性和由于imputation过程而增加的可变性[15，38，39］．鲁宾公式可用于计算大多数标准估计器的标准误差。它是M个完全数据标准误差(W_{1, . .})和跨M个估算的完整数据估计值之间的可变性(B_米)．让W_米的完备数据估计器的标准误差米-th估算数据集，则Rubin的估算器标准误差公式如中#3所示多媒体附件1［15，38］．在实践中，分析人员通常使用5-10次imputation，因为这已被证明足以正确捕获imputation估计器中的可变性[39］．

我们生成了五个完整的数据集，其中所有缺失的页面浏览时间都被来自估计的条件imputation模型的样本所取代。假设归责模型为正态分布，在对数变换页面浏览次数后，用均值和适当的标准偏差估计线性回归模型。我们以广泛的格式构建数据，每个人代表数据集中的一行，多个网页视图由多个列表示。一个新的归责模型估计每重复的页面浏览量。我们使用观察到的页面浏览时间来估算估算模型，并且仅对那些观察到的页面浏览进行估算，但这会导致自动超时。使用线性回归模型指定每个条件预测分布的平均值，并使用以下预测指标:基线参与者信息(参与者人口统计数据、吸烟史、吸烟信念和戒烟准备程度)、随机组和参与者在第一个核心内容页面上花费的分钟数。此外，我们还使用了关于所浏览网页类型的信息作为预测因素，例如网页中涉及的内容(准备戒烟、戒烟和保持戒烟)和所浏览的页面类型(例如，介绍页、推荐页)。

内容语气对用户粘性的影响

我们计算了干预访问的总数、个人页面浏览量以及导致超时的页面浏览量。我们总结了参与者花费在查看干预内容上的时间分布(以分钟为单位)，排除了所有超时的页面视图。在计算了缺失页面浏览时间后，通过将花费在干预网页上的分钟数相加，计算出每个参与者的总在线时间。为了评估为导致超时的页面浏览时间分配任意值的影响，我们改变了分配给页面视图的超时分钟数，从接近零到30分钟。

然后，我们使用零膨胀泊松(ZIP)模型比较了查看干预内容所花费的总时间中消息语气的对比因素水平[40，41］．我们使用ZIP模型是因为在线总时间的分布比泊松分布的预期有更大的零比例;从未接触过干预内容的研究对象在网上花费的总时间都为零，导致分布中显著的点质量为零。我们在ZIP的逻辑部分中包括了一个截距项，该部分对总体中的“多余”零进行建模。在ZIP模型的泊松部分，我们纳入了随机因素水平和基线戒烟准备程度测量，用于分层随机化。我们报告来自ZIP模型的泊松部分的估计。一般来说，从泊松模型中得到的估计被解释为发病率比率，但当所有受试者都有一个共同的暴露时间时，如Q²试验，估计可以解释为比较两个对比因素水平的平均事件计数的比率。因此，我们报告了接收到激励语气内容的个人与接收到说明性信息语气的个人在线花费的平均分钟数的比率。我们使用Stata Version 12进行所有分析，包括计算缺失页面浏览次数[30.，42］．

结果

的问²试验招募了1865名吸烟者;1175(63.00%， 1175/1865)参与者至少访问了一次在线干预。干预内容总共在1691次单独访问中被查看，导致6592次独特的页面视图。总共有683次(10.36%，683/6592)的页面浏览在30分钟不活动后自动超时，550次(46.81%，550/1175)的参与者至少有一次页面浏览导致了超时。图1显示花在没有导致超时的页面视图上的时间分布;观察到花在干预页面上的时间中位数为1.07分钟(四分位数范围0.47-2.27)。这表明，将导致超时的所有页面浏览量分配为30分钟，会高估参与者用于查看在线干预内容的时间。

图2当被分配用于浏览导致超时的网页的时间值从接近零到30分钟不等时，呈现那些收到规定性内容的人与那些收到激进性内容的人的平均在线花费时间的估计比例。虽然均值估计值的比值稳定在0.87左右，但估计值周围的95%置信区间(CI)的宽度随着分配给超时的时间的变化而变化。为超时分配一个接近零的值(0.00001分钟)，结果是估计值为0.87,95% CI 0.75-1.02，其中包括1(即未能拒绝原假设，即两个因素水平之间的参与者参与度在0.05显著性水平上没有差异)。或者，给自动超时的页面浏览量分配30分钟的值，得到的估估值为0.86,95% CI 0.77-0.97(不包括1)，得出的结论是，分配给规定语气的参与者查看内容的时间明显少于分配给激励语气的参与者。

5个完整数据集的平均值(即，超时替换为估算的页面查看时间)，用于查看干预内容的平均总时间为12.3分钟。观看干预的总时间从少于1分钟到超过180分钟不等，中位数为7.0分钟。比较以规定性语调观看内容与以激励性语调观看内容的人观看干预内容的平均累积分钟数，其均值之比为0.87 (95% CI 0.75-1.01;P= 0。06)。因此，以说教性语气呈现内容的参与者观看在线干预内容的时间减少了13%，尽管这一差异在0.05水平上没有统计学意义。

‎ 查看此图

‎ 查看此图

讨论

主要研究结果

在过去十年里，基于互联网的行为和教育干预项目的数量呈爆炸式增长。当研究人员试图了解如何优化这些项目的设计以使其最有效时，研究人员必须检查参与者在多大程度上接触和参与这些项目，以及这种相互作用在多大程度上影响干预结果。即使出现了更复杂的方法来跟踪程序的交互性，仍然会有一段时间，无论是设计还是偶然，都不涉及直接的人机交互，导致长时间的“不活动”。正如我们的案例所示，如何分析处理这些数据可以显著地改变关于参与者实际花费多少时间查看内容的结论。反过来，这可能会影响旨在探索程序暴露是否介导所观察到的治疗效果的分析。

结论

我们提出了一种标准方法，研究人员利用本文中概述的MI过程来管理长时间的不活动或超时数据。使用这种方法的决定应该是先验的，因为人们无法提前知道给暂停分配任意值会对研究结论产生多大影响。鼓励研究人员在未来检查在线干预内容的暴露时采用多重imputation。