监测数据的非随机缺失对人口水平总结的影响:模拟研究

介绍

2019年新冠肺炎疫情的出现给全球卫生领域带来了诸多挑战。其中许多挑战很容易观察和衡量。在此期间的几个月里，出版了无数关于社交距离和疫苗接种措施及其对感染传播的影响的出版物。即使是现在，流行病学论文也提供了有关该疾病在高危人群与易感人群中不同影响的最新信息，易感人群的风险可能没有那么高。这些分析大多是快速进行的，利用现有但不完整的数据提供快速评估。在我们试图衡量与COVID-19各方面相关的知识、态度和行为时，对不完整数据的分析如果没有进行适当调整，可能会产生有偏见的结果，从而导致不利影响，这是一个尚未得到详细探讨的挑战。

公共卫生监测数据对无创监测社区卫生很有用[1]．在某些情况下，这些数据被收集为具有定义的数据元素和质量检查的正在进行的协议的一部分[例如，11]。然而，公共卫生监测系统越来越多地寻求从行政、商业或其他来源获得的更广泛的数据收集中得出结论和理解[例如，8-10]。

公共卫生监测可用于在微观层面上解决许多流行病学问题，深入到社区集群，以确定疾病集中的人员、地点和时间。当分析人员试图将分析扩展到宏观层面时，问题就出现了，因为他们使用非随机的个人样本来试图对数据不能也不能准确代表的总体做出推断[2-5]．砖(6]提出了许多减少无反应偏差的潜在解决方案，但这些解决方案往往侧重于提高回复率，以及在发生无反应的数据收集中减少偏差的统计调整方法。在本文中，我们量化并说明了当我们试图从数据缺失从随机到非随机变化的不完全测量样本中推断潜在的全局属性时遇到的问题的范围和程度。在实践中，分析人员经常使用抽样权重[6]控制和减少因无反应而产生的偏见的潜在影响[2]．在本研究中，我们还研究了在公共卫生监测中何时以及是否使用抽样权重实现了这一预期目标，并确定在考虑来自非随机微观层面样本的数据以做出宏观层面决策时，这种策略何时以及是否有意义。

许多处理缺失数据的统计方法都要求数据是随机缺失的。调查人员转向像Cohen和Cohen [7]，西蒙诺夫[8]，或利特尔和鲁宾[9]，对其数据应用统计测试以查看它们是否满足这一要求，但这些方法可能无法为识别潜在的缺失机制提供足够的严谨性，特别是如果缺失机制与测试中使用的辅助变量无关[例如，10]。这些方法基于数据为MAR的零假设，拒绝失败并不能证明该零假设为真。这类方法也关注由于测试中涉及的变量而导致的缺失，可能由于其他原因而在检测非随机缺失方面没有很强的统计能力[7-9]．

对监测感兴趣的研究人员青睐的另一种方法包括通过增加观察值来扩大样本量，扩大资格标准，或在现有的大规模问卷上增加额外的问题[例如，8,11]。在公共使用数据集和监测系统的情况下，通常有大量的观察结果可供分析。极大的样本量被认为是丰富的数据源，并提供了“发现某些东西”的绝佳机会。设计非概率样本以最大限度地增加调查对象的数量，这可能会为分析人员提供丰富的数据，但非随机缺失的影响可能会限制从此类研究中得出的推断的价值。尽管文献中存在大量“垃圾列表”样本和不完善的人口普查的例子，但我们更愿意关注这些方法的统计影响，而不是在本文中呼吁我们的同事和同行使用这些方法[例如，9,11]。

在存在非随机缺失的情况下，公共卫生监测的应用往往侧重于手头的数据，而不是分析性能的一般原则。在下面的部分中，我们使用模拟来探索和说明非随机缺失对单个调查项目的影响。当缺失的随机性从半完全到完全不等时，我们的方法允许我们调查和量化平均值估计中的误差。我们还提供了一个说明，说明当数据不是mar时，增加样本量如何影响估计器。最后，我们介绍了Cohen和Cohen方法的结果[7对于我们所有的结果，以评估这种诊断方法在确定在给定的公共卫生监测数据集中随机假设缺失可能是不安全的情况下的性能。虽然大家都知道，理论上，非随机缺失会影响统计推断，但我们的例子在一个简单但现实的环境中，以及在读者、学生和研究人员探索和发现的简单工具中，提供了这种影响的性质和程度的说明。

方法

概述

我们的方法的更详细的描述可以看到多媒体附录1．简而言之，我们使用李克特量表(Likert-scale)的5级结果提供了一个项目缺失的模拟示例，类似于公共卫生调查中经常收集的问题类型。为了提供一个参考框架，我们将结果视为“您对所在社区强制要求当地政府雇员和公务员接种疫苗的努力有多满意?”，并模拟1到5的答案，1表示非常不满意，5表示非常满意。模拟使用离散随机数生成器生成大量(N=100,000)潜在应答者，其中响应模式允许变化。我们提出了一些模拟，其中个人的反应概率在不同的值之间通常是一致的，有些倾向于更满意，有些倾向于不满意。

我们通过每个应答者的统一随机值来诱导数据缺失。在我们的模拟中，我们比较了完全随机丢失(MCAR)数据和不随机丢失(NMAR)数据的影响，其中丢失不是随机的。根据Little和Rubin的研究，我们将机制定义为数据缺失的原因[10]．当机制完全独立于调查时，则数据为MCAR。当机制与缺失直接关联时，则数据为NMAR。在这种情况下，机制可以被识别并显示为独立于感兴趣的数据，那么数据是mar。在项目缺失数据的情况下，识别缺失机制可能更容易做到，其中某些调查项目的无反应可以使用其他项目的完整性来分析。在单位无响应的情况下，可能不可能真正确定缺失机制，因为关于无响应的所有信息都不可用。当确定了一种机制后，就可以使用多变量建模方法对其进行控制。在这项研究中，我们模拟了MCAR和NMAR数据对一个单一的调查项目。对于人群中的每一次模拟观察，我们也有完整的种族和性别数据。这些人口统计项目为科恩和科恩的方法提供了辅助变量[7]．我们采用这种方法来研究测试有效检测NMAR机制的能力。

我们的模拟复制了总体人口的1000个随机样本，并在样本中分配观察值。抽样权值[6]的引入，使得缺失的观测值可以用完整的观测值来表示。

我们用均方误差(MSE)来量化缺失和加权的影响[11]．MSE总结了估计量与真实值(平均)的距离，并总结了估计性能的两个组成部分:抽样可变性(或抽样误差)和偏差。关于MSE的详细讨论可以在多媒体附录1．我们的模拟复制了样本并产生了估计器可变性，使我们能够估计样本方差，作为样本与样本之间估计误差变化的总结。差的平方根为我们提供了基于模拟的估计器偏差估计。如果舍入导致的值为负值偏见²，我们将观察到的偏差赋值为零。在我们的模拟中，偏差描述了我们的样本估计器离真实的总体平均满意度有多远，在5分李克特量表上打分。

我们提出以下三种人口条件的总结结果:

• 跨类别的统一反应(即没有反应的可能性大于其他反应)。
• 总体满意的应答者(即两个满意的应答比两个不满意的应答更有可能)。
• 总体上不满意的应答者(即两个不满意的应答比满意的应答更有可能)。

在这些条件下，我们对一般满意的受访者(回答三个或以上的问题)给出了恒定的90%的回答率，并允许不满意的受访者的遗漏率在10%到90%之间变化，以探索非随机遗漏的影响。我们还比较了两种样本量(800和8000)的结果，以了解这如何影响估计器的行为。选取800名样本，误差范围约为3.5%，用于估计对政府雇员和公务员的社区疫苗授权感到满意的百分比。8000人的样本量是在没有具体统计理由的情况下，被任意选择为10倍的膨胀。模拟是用SAS 9.4 (Cary, NC)编写的。指多媒体附录2查看完整的程序。

道德的考虑

该模拟实验不涉及人类受试者，因此不需要机构审查委员会的批准。

结果

统一响应模式

我们使用了一个统一的回应模式来描述一个对政府在疫苗授权方面的努力没有特别强烈意见的社区。我们的回答率是使用一个假设的惯例来分配的，即通常支持公共卫生实践的人倾向于回应调查并分享他们的积极意见，而对现状不满意的人则会(在一定程度上)拒绝与陌生人谈论他们的担忧。我们将满意的社区成员的回应率维持在90%不变，表示他们愿意参与调查。我们考虑不满意组的回复率逐渐变差的情况，以5分李克特量表上的点来衡量这种差异反应对抽样变异性、MSE和偏差的影响。我们还报告了计算加权平均值后的结果，试图调整来自该社区的样本的无反应。

第一行图1当不满意组的无响应率越来越差时，比较评估者的表现。当总体满意者和总体不满意者的回复率相似时，我们几乎看不到偏见的证据;随着响应差距的扩大，我们可以看到MSE有明显的上升趋势。抽样可变性似乎相对不受影响，但偏差的急剧增加表明，尽管我们的估计器具有相当的精度，但我们的区间不太可能包含我们全部人口的真实满意度评级。在最糟糕的情况下，估计的政策满意度评级与人口真相相比几乎偏离了整整一个刻度点。的第一列表1展示了科恩和科恩的方法7正确地随机识别偏离和缺失。我们发现大约5%的样本显示人口统计变量和缺失之间存在关联，但我们很少看到证据表明使用这种方法存在非随机缺失，这表明在我们的设置中检测非随机缺失的统计能力较低。此外,表1也揭示了偏差似乎是相当大的，即使调整非随机缺失使用传统的调整权重。这表明使用抽样权值并不能消除潜在的问题。

有趣的是，当我们扩大样本量(表2）.增加样本量似乎不会减少估计器的偏差，也不会对其总体变异性产生影响。膨胀的样本量既没有减少也没有扩大估计器的固有偏差，并且对科恩和科恩的方法随机检测偏离缺失的能力没有明显影响。因为MSE是方差和的线性组合偏见²，当样本量增加时，我们看到这些数量没有变化。抽样方差正在改善，但与偏差对估计器质量的影响相比，可以忽略不计。缺失的数据导致严重偏倚的满意度估计，因此MSE或我们的样本估计与真实均值的平均距离由偏倚分量驱动。重复之间的样本均值变化很小，而它们与总体的真实均值相差很大。

‎ 查看此图

一般满意的反应模式

当模拟受访者普遍满意时，我们观察到数据中的总体缺失较少，即使不满意受访者的不回复率增加。第二行图1显示了在有利响应剖面下估计器的行为。在这个群体中，我们看到偏差大大减少，因为我们的样本更能代表一个真正更有利的群体。我们看到，抽样可变性在响应剖面之间是可比较的，因为估计量的潜在抽样分布没有改变，因此样本之间的估计变化不受影响。然而，由于这些样本估计值更接近事实，即使不满意的回复率下降，我们也看到MSE和偏差的增加。模拟还表明，增加样本量对两个方向的偏差影响都很小。

一般不满意反应模式

第三排图1说明了一种缺失模式，即大部分人口既被剥夺了公民权，又不愿参与调查。在这种情况下，受访者给出的人口估计与实际情况大不相同。与其他情况一样，样本间的可变性很小。在总体满意的人群中，这带来了另一种问题，因为不太可能做出回应的受访者占整体人口的比例较小。然而，在普遍不满意的人群中，基于受访者的估计与人口的真相相去甚远;由此产生的朴素置信区间没有可靠的覆盖，同时提供了高精度的外观，表明大多数令人满意的总体，即使在调整了采样权值之后。在普遍不满意的人群中，估计器会更快地产生偏差，其中40%-50%的无反应率会导致与其他两个人群中更高的无反应率相同的明显偏差。与前面的例子一样，模拟结果显示，增加样本量似乎不会对这种效应产生显著影响，Cohen和Cohens的方法并不能可靠地检测到缺失偏离随机性的情况。

讨论

主要研究结果

我们的模拟表明，即使在分析相当简单的调查样本时，非随机缺失数据也会对基于人口的估计产生影响。我们的例子表明，随机缺失的基本诊断测试或抽样权重的使用不能自动控制这种偏差，也不是提高估计质量的简单保证或变通办法。

关于缺失的统计讨论往往侧重于减少调查实施中的不回应[6]或在分析中固定数据[10]．这些方法非常简洁，适用于在特定设计下收集的数据。在MCAR缺失情况下，样本被简单地减少，但不会以产生偏差的方式减少。然而，在NMAR缺失情况下，“真正的”观察样本是设计(具有已知的选择概率)和缺失模式(通常具有未知的观察概率)的组合。

在监测数据中，特别是在公共卫生危机中，由于需要迅速获得数据，现有的调查往往被重新用于额外的数据收集，或者分析人员包括未知(如果有的话)设计的方便数据。在这种改变用途的情况下(例如，通过在正在进行的调查中增加COVID-19问题)，我们很可能会发现新的(和未知的)缺失模式。单独调整设计(通过基于设计选择概率而不一定是响应概率的基于设计的权重)可以调整预期设计的估计;然而，如上所述，新的失踪原因的重要影响将被忽略。具体来说，我们研究中的例子说明了抽样权重(调整“选择”的概率)和缺失模式(改变“响应”的概率)之间的不协调如何导致偏差。如果缺失发生在低权重的子种群中(如在我们普遍满意的种群示例中)，这种影响可以减轻，但如果缺失发生在接受高采样权重的子种群中(如在我们普遍不满意的种群示例中)，这种影响可能会被夸大。除非我们知道选择的概率和回应的概率，否则我们无法看到全貌，也无法用传统的加权方法适当地调整估计。

正如我们的简单例子所说明的那样，设计权重的应用不应被视为解决为监视目的而扩展调查设计的挑战的灵丹妙药。仔细看看图1揭示了为什么在实际应用权重时需要谨慎的证据，特别是在响应概率未知的情况下。在我们的模拟示例中，虽然MSE和偏差随着不满意回复率的降低而上升，但抽样变异性保持不变。抽样变异性是产生置信区间和评估假设检验的基本统计量，这是推理方法的两种广泛的统计应用。我们可以看到，由监测数据产生的置信区间可能具有由样本量计算决定的所需宽度，但偏差(由于非随机缺失)将导致错误数字周围的精确区间，从而可能导致非常糟糕的决策、政策及其后果。由于抽样变异性不能像MSE那样完全解释偏离真相的情况，在实践中，我们可能永远不会真正知道我们的样本估计值与真实但未知的总体值有多远。如果我们假设缺失完全是随机的，并产生有偏见的估计，我们报告的估计可能(而且很可能)导致错误的决定，可能对公共卫生产生长期影响。

一个更大的问题来自于使用监控数据对一个社区做出全球声明的意图。外推在建模中经常被提及，但很少被转化为从非随机样本推断更大群体参数的估计。我们的模拟器显示，随着人口子组的回复率变得越来越差，样本在代表更大社区方面的有效性减弱，在许多情况下相当严重。使用来自具有未知观测概率的样本的数据，特别是数据可能不是MAR的调查数据，是外推的一个明显例子。最终，未能充分代表边缘化人群可能导致政治和社会动荡。根据这些数据作出的政策决定可能导致产生或扩大已经有损社会公正和卫生公平结果的差距。

我们在研究中展示的模拟表明，当超出其设计范围时，来自调查样本的估计有可能存在严重偏差，特别是在由于响应概率不平衡而存在差异缺失的情况下。虽然这种偏差的可能性在理论上是已知的，但我们的模拟提供了一个基本但实际的例子，说明了问题的潜在严重性。我们注意到，这些模拟代表了问题的简化(但可能并不罕见)说明;偏差的方向和大小可能会随着关系缺失与调查的变化而发生很大的变化。我们认为，缺失数据的调查在某种程度上很少(如果有的话)是随机的，并且在不考虑潜在的差异缺失的情况下，仅根据抽样计划应用调查权重时，建议相当谨慎。我们特别建议，在分析和解释的同时，对潜在偏差进行深思熟虑的总结，尤其是那些来自多个可用数据源的分析和解释。我们建议，与其使用调查数据向上看社区，不如鼓励分析师考虑向下看观察到的人群。

虽然假设数据是MAR在分析上是有意义的，但这个决定可能会带来相当大的成本。如果我们在错误中随机假设失踪，我们得出的结论与事实相去甚远，并可能导致毁灭性的社会后果。如果我们假设缺失不是随机的错误，我们就会得出更谨慎的结论，并开辟途径，以更好地识别和理解我们感兴趣的人群中潜在的服务不足的部分。在非随机缺失方面的错误导致对所有可用信息进行更具社会责任感的分析。

我们研究的一个局限性是，我们应用了简单的随机抽样来模拟调查经验，其中大多数监测数据集是多阶段聚类设计。我们注意到，更复杂的设计通常可能导致抽样可变性的膨胀，但不会减少微分响应中固有的均方误差或偏差。在我们的例子中，我们也只考虑了三种反应模式，并根据我们自己对更强的满意和不满意倾向的描述任意分配了人口反应。我们的模拟器可供读者使用(参见多媒体附录2)，并且很容易重新编程，以适应更复杂的人口反应概况。除了我们的李克特量表示例外，还可以修改模拟器以测量其他类型的响应类型(例如，连续或二进制)。我们将我们的分析限制在一个基本的调查设计和回应，因为设置清楚地说明了我们的观点，并反映了在分析监测数据时非常常见的设置。

结论

监测是公共卫生实践的一个重要组成部分。监测数据使我们能够产生有用的描述性措施，以表征疾病在高危人群中的传播。当前的大流行产生了大量数据，其中大部分来自非随机样本或来自调查，其中数据缺失模式可能使原始抽样计划模糊不清，以至于仅靠传统的抽样权重无法对估计数进行适当调整。我们的例子表明，有机会开发新方法，摆脱传统的纯设计方法，转向探索数据收集设计和调整数据完整性模式的方法，使我们能够更有效地使用信息，为整个人口做出更好的公共卫生决策。