发表在第8卷第9期(2022):9月

本文的预印本(早期版本)可在以下网站获得https://preprints.www.mybigtv.com/preprint/37887,首次出版
监测数据中非随机缺失对人口水平总结的影响:模拟研究

监测数据中非随机缺失对人口水平总结的影响:模拟研究

监测数据中非随机缺失对人口水平总结的影响:模拟研究

原始论文

美国佐治亚州亚特兰大埃默里大学罗林斯公共卫生学院

*所有作者贡献相同

通讯作者:

保罗·塞缪尔·韦斯(Paul Samuel Weiss

罗林斯公共卫生学院

埃默里大学

克利夫顿路1518号

308房间

佐治亚州亚特兰大,30322-4201

美国

电话:1 404 712 9641

电子邮件:paul.weiss@emory.edu


背景:监测数据是指导政策和人力和资本资源分配的重要公共卫生资源。这些数据通常由基于非随机样本设计的大量信息组成。基于这些数据的人口估计可能会受到基础样本分布与真正感兴趣的人口相比的影响。在本研究中,我们模拟了一个感兴趣的人群,并允许应答率以非随机的方式变化,以说明和衡量这对一个重要公共卫生政策结果的基于人群的估计的影响。

摘要目的:本研究的目的是阐明非随机缺失对基于人口的调查样本估计的影响。

方法:我们模拟了一组受访者,他们回答了一个关于他们对政府人员接种疫苗的社区政策的满意度的调查问题。我们允许一般满意者和不满意者之间的回复率不同,并考虑了共同努力的影响,以控制潜在的偏差,如抽样权重、样本量膨胀和随机确定缺失的假设检验。我们通过均方误差和抽样可变性来比较这些条件,以表征在这些不同方法下产生的估计偏差。

结果:即使在最有利的反应谱中,样本估计也存在明显和可量化的偏差。在李克特5分制的量表中,非随机缺失导致的误差平均几乎与真相相差整整一个点。通过扩大样本量和抽样权重来减轻偏差的努力对总体结果的影响可以忽略不计。此外,对偏离随机缺失的假设检验很少在考虑的最广泛的响应谱范围内检测到非随机缺失。

结论:我们的结果表明,假设监测数据在分析过程中随机缺失,可以提供与我们在整个人口中可能看到的结果大相径庭的估计。在社区脱离和健康差异方面,基于这种潜在偏见估计的政策决定可能是毁灭性的。为了识别边缘群体,有必要采用其他分析方法,而不是对被错误测量的风险人群进行泛化,因为这些群体的总体反应可能与在被测量的受访者中观察到的反应大相径庭。

《JMIR公共卫生监测2022》;8(9):e37887

doi: 10.2196/37887

关键字



2019年新冠肺炎疫情给全球卫生带来诸多挑战。其中许多挑战都很容易观察和衡量。其间的几个月出版了无数关于社会距离和接种疫苗措施及其对感染传播的影响的出版物。即使是现在,流行病学论文也提供了关于该疾病在高风险人群与易感人群之间的不同影响的最新进展,易感人群的风险可能没有那么高。这些分析大多是快速进行的,使用可用但不完整的数据提供快速评估。一个尚未详细探讨的挑战是,在我们试图衡量与COVID-19各方面相关的知识、态度和行为时,未经适当调整的不完整数据分析可能会产生有偏见的结果,从而导致有害影响。

公共卫生监测数据可用于无创监测社区卫生[1].在某些情况下,这些数据是作为一个持续协议的一部分收集的,该协议具有已定义的数据元素和质量检查[例如,11]。然而,公共卫生监测系统越来越多地寻求从行政、商业或其他来源获得的更广泛的数据收集中得出结论和理解[例如,8-10]。

公共卫生监测可用于在微观层面解决许多流行病学问题,深入到社区集群,以确定疾病集中的何人、地点和时间。当分析师试图将分析扩展到宏观层面时,当使用非随机的个人样本试图对数据不能或不能准确表示的人群进行推断时,问题就出现了。2-5].砖(6]提出了一些减少无响应偏差的潜在解决方案,但这些解决方案往往侧重于提高响应率和统计调整方法,以减少发生无响应的数据收集中的偏差。在本文中,我们量化并说明了当我们试图从一个不完全测量的样本推断潜在的全局属性时遇到的问题的范围和量级,其中数据的缺失从随机到非随机不等。在实践中,分析师经常求助于抽样权重[6控制和减少因无响应而产生的偏差的潜在影响[2].在本研究中,我们还研究了在公共卫生监测中使用抽样权重何时以及是否达到了这一预期目标,并确定当考虑来自非随机微观层面样本的数据以进行宏观层面决策时,何时以及是否这样的策略是有意义的。

许多处理缺失数据的统计方法都要求数据是随机缺失的。调查人员求助于科恩和科恩[7],西蒙诺夫[8或利特尔和鲁宾[9],对其数据进行统计测试,以确定其是否满足这一要求,但这些方法可能无法为识别潜在的缺失机制提供足够的严密性,特别是当缺失机制与测试中使用的辅助变量没有关联时[例如,10]。这些方法基于一个零假设,即数据是MAR,拒绝失败并不能提供零为真的证据。此类方法还关注由于测试中涉及的变量而导致的缺失,并且可能没有强大的统计能力来检测由于其他原因而导致的非随机缺失[7-9].

对监测感兴趣的调查人员所青睐的另一种方法是通过增加观察、扩大合格标准或在现有的大规模问卷中增加额外的问题来扩大样本量[例如,8,11]。就公共使用数据集和监测系统而言,通常有大量的观察结果可供分析。非常大的样本量被认为是丰富的数据源,并提供了“找到一些东西”的极好机会。非概率样本设计的目的是使被调查者的数量最大化,这可能会为分析人员提供大量的数据,但非随机缺失的影响可能会限制从此类研究中得出的推论的价值。尽管文献中存在大量“垃圾邮件列表”样本和不完善的人口普查的例子,但我们更倾向于关注这种方法的统计影响,而不是呼吁本文中的同事和同行使用这种方法[例如,9,11]。

公共卫生监测的应用往往侧重于手头的数据,而不是在存在非随机遗漏的情况下分析性能的一般原则。在下面的小节中,我们使用模拟来探索和说明非随机缺失对单个调查项目的影响。当缺失的随机性从半完全到完全不完全变化时,我们的方法允许我们研究和量化平均值估计中的误差。我们还举例说明了当数据不是mar时,增加样本量如何影响估计器。最后,我们提出了Cohen和Cohen方法的结果[7],以评估这种诊断方法在识别在给定公共卫生监测数据集中随机缺失何时可能是不安全的方面的性能。虽然从理论上讲,非随机缺失可能会影响统计推断,但我们的例子在一个简单但现实的环境中,在一个供读者、学生和研究人员探索和发现的简单工具中,说明了这种影响的性质和大小。


概述

关于我们的方法的更详细的描述可以在多媒体附件1.简单地说,我们提出了一个项目缺失的模拟例子,使用李克特量表5个等级的结果,类似于公共健康调查中经常收集的问题类型。为了提供一个参考框架,我们将结果视为回答“您对您所在社区强制要求为当地政府雇员和公务员接种疫苗的努力有多满意?”,并模拟从1到5的答案,1表示非常不满意,5表示非常满意。该模拟使用离散随机数生成器生成大量(N=100,000)潜在应答者,其中应答模式允许变化。我们提出了一些模拟,在这些数值中,个体的响应概率通常是一致的,一些倾向于更满意的,一些倾向于不太满意的。

我们通过每个应答者的统一随机值来诱导数据的缺失。在我们的模拟中,我们比较了完全随机丢失数据(MCAR)和非随机丢失数据(NMAR)的影响,其中丢失数据不是随机的。根据Little和Rubin的研究,我们将机制定义为数据缺失的原因。10].当机制完全独立于调查时,则数据为MCAR。当机制与缺失直接相关时,则数据为NMAR。在机制可以被识别并显示独立于感兴趣的数据的情况下,则数据为mar。在项目缺失数据的情况下,识别缺失机制可能更容易,其中某些调查项目的不响应可以使用其他项目的完整性进行分析。在单元无响应的情况下,可能不可能真正识别缺失机制,因为所有关于非响应者的信息都是不可用的。当确定了一种机制时,就有可能使用多变量建模方法对其进行控制。在本研究中,我们模拟单个调查项目的MCAR和NMAR数据。对于每个模拟观察的人口,我们也有完整的数据的种族和性别。这些人口统计项目为科恩和科恩的方法提供了辅助变量[7].我们采用这种方法来研究测试有效检测NMAR机制的能力。

我们的模拟复制了我们总体中的1000个随机样本,并在样本中指定观察值。抽样权重[6]的引入使得缺失的观测值可以用完整的观测值来表示。

我们用均方误差(MSE)来量化缺失和权重的影响[11].均方根误差(MSE)总结了估计器离真实(平均)的距离,并总结了估计性能的两个组成部分:抽样可变性(或抽样误差)和偏差。MSE的完整讨论可以在多媒体附件1.我们的模拟复制样本并产生估计量变异性,允许我们将抽样方差作为样本间估计误差变化的汇总来估计。差的平方根给我们一个基于模拟的估计估计器的偏差。在四舍五入导致的负值的情况下偏见2,我们将观察到的偏差赋值为零。在我们的模拟中,偏差描述了平均而言,我们的样本估计器距离真实的总体平均满意度有多远,以5点李克特量表评分。

我们提出了以下三种人口条件的总结结果:

  • 跨类别的统一响应(即,没有响应比其他响应更有可能)。
  • 总体满意的应答者(即,两个满意的应答者比不满意的应答者更有可能)。
  • 总体上不满意的应答者(即,两个不满意的应答者比满意的应答者更有可能)。

在这些条件下,我们为一般满意的受访者提供了90%的恒定回复率(对该问题的回答为三个或以上),并允许不满意的受访者的遗漏率在10%到90%之间变化,以探索非随机遗漏的影响。我们还比较了两种样本量(800和8000)的结果,以了解这如何影响估计者的行为。选取了800个样本,误差幅度约为3.5%,以估计满意社区对政府雇员和公务员的疫苗要求的人的百分比。在没有具体统计理由的情况下,随机选择8000的样本量作为膨胀系数的10倍。仿真程序用SAS 9.4 (Cary, NC)编写。指多媒体附件2观看完整的节目。

道德的考虑

在这个模拟实验中没有人类实验对象,所以不需要机构审查委员会的批准。


统一响应模式

我们使用一种统一的反应模式来描述一个对其政府为疫苗授权所做的努力没有特别强烈意见的社区。我们的回复率是根据假设的惯例分配的,即一般支持公共卫生实践的人倾向于回应调查并分享他们的积极意见,而对现状不满意的人则会(在一定程度上)拒绝与陌生人谈论他们的担忧。我们将满意的社区成员的回复率保持在90%不变,表明他们愿意参与调查。我们考虑不满意组的反应率逐渐变差的情况,以测量这种差异反应对采样可变性、MSE和偏差的影响,以5点李克特量表的点表示。我们还报告了计算加权平均值后的结果,试图对来自该社区的样本的无响应进行调整。

的第一行图1比较评估器的性能,因为不满意组的不响应率越来越差。当总体满意的人和总体不满意的人的回复率相似时,我们几乎看不到偏见的证据;随着反应差异的差距扩大,我们可以看到MSE有明显的上升趋势。抽样变异性似乎相对不受影响,但偏差的急剧增加表明,尽管我们的估计器具有相当的精度,但我们的区间不太可能包含整个群体的真实满意度评级。在最糟糕的情况下,估计的政策满意度与人口真相相比几乎偏离了整个刻度点。的第一列表1表明科恩和科恩的做法7正确地识别出与失踪的随机偏差。我们看到大约5%的样本表现出人口统计学变量之一与缺失之间的关联,但我们很少看到使用这种方法表明缺失不是随机的证据,这表明在我们的设置中检测非随机缺失的统计能力较低。此外,表1还揭示了即使使用传统的调整权重对非随机缺失进行调整,偏差似乎也是相当大的。这表明,使用抽样权重并不能消除潜在的问题。

有趣的是,当我们扩大样本量(表2).增加样本量似乎并没有减少估计量的偏差,也似乎对其总体可变性没有影响。膨胀的样本量既没有减少也没有扩大估计器的固有偏差,也没有明显影响科恩和科恩方法随机检测偏离缺失的能力。由于MSE是方差和的线性组合偏见2,当样本量增加时,我们没有看到这些量的变化。抽样方差正在改善,但与偏差对估计量质量的影响相比,这种改善微不足道。缺失的数据导致了一个严重偏差的满意度估计,因此MSE或我们的样本估计与真实均值的平均距离,是由偏差分量驱动的。样本均值在重复之间的变化很小,而它们与总体的真实均值相差很大。

图1。均方误差(MSE),抽样方差,样本大小和响应模式的偏差。
查看此图
表1。1000个样本中的样本数,其中Cohen和Cohen的方法[7]基于800个样本量,使用性别和种族识别非随机失踪。
不满意不回应率 制服,n 一般满意,n 一般不满意,n

比赛 这两个 比赛 这两个 比赛 这两个
10% 50 43 3. 41 54 0 49 55 3.
20% 46 52 4 52 53 5 59 49 2
30% 62 46 3. 55 55 4 52 57 4
40% 45 48 3. 54 69 3. 57 61 6
50% 42 48 0 52 41 3. 37 47 1
60% 51 37 1 43 40 1 46 59 1
70% 55 42 5 46 59 2 56 52 3.
80% 53 47 1 50 63 4 51 61 2
90% 49 38 3. 70 53 2 57 57 3.
表2。1000个样本中的样本数,其中Cohen和Cohen的方法[7]基于8000的样本量,使用性别和种族识别非随机失踪。
不满意不回应率 制服,n 一般满意,n 一般不满意,n

比赛 这两个 比赛 这两个 比赛 这两个
10% 34 38 1 43 44 1 43 52 2
20% 36 50 2 34 37 3. 32 39 1
30% 35 43 2 39 37 3. 36 43 2
40% 42 40 1 46 43 2 37 52 6
50% 34 49 0 45 58 3. 42 51 1
60% 46 43 4 40 57 3. 50 37 1
70% 38 50 2 53 44 5 48 36 0
80% 42 29 1 51 43 2 49 50 2
90% 29 31 2 60 60 3. 46 51 1

一般满意的回应模式

当模拟的受访者普遍感到满意时,我们观察到数据的总体遗漏较少,即使不满意的受访者的不回应率增加了。第二行图1显示了在一个有利的响应剖面下估计器的行为。在这个人群中,我们看到偏见大大减少了,因为我们的样本更能代表真正更有利的人群。我们看到,响应剖面之间的抽样变异性是可比性的,因为估计量的基本抽样分布没有改变,因此不同样本间估计的变化不受影响。然而,由于这些样本估计量更接近真实,即使不满意回复率下降,我们也看到了MSE和偏差的停滞增长。模拟还表明,增加样本量对两个方向的偏差影响不大。

一般不满回应模式

第三行图1说明了一种缺失模式,即很大一部分人口既被剥夺了公民权,又不愿意参与调查。在这种情况下,受访者给出的总体估计与实际情况大不相同。与其他情况一样,样本间的可变性很小。在总体满意的人群中,这就产生了另一种问题,因为不太可能做出回应的受访者在整个人群中所占的比例更小。然而,在普遍不满意的人群中,基于受访者的估计与人群的真实情况相差甚远;由此产生的朴素置信区间没有可靠的覆盖,但提供了高精度的外观,表明即使在调整了抽样权重之后,也有一个大部分满意的总体。在普遍不满意的人群中,估计器会更快地产生偏差,其中40%-50%的无响应率与其他两个被考虑的人群中更高的无响应率导致了同样的明显偏差。与前面的例子一样,模拟结果表明,增加样本量似乎并没有在这种效果上产生显著差异,而且Cohen和Cohen的方法并不能可靠地检测出缺失的偏离随机性。


主要研究结果

我们的模拟表明,即使在分析一个相当简单的调查样本时,非随机缺失数据也会对基于人口的估计产生影响。我们在我们的例子中提出的情况表明,随机缺失的基本诊断检验或使用抽样权重不能自动控制这种偏差,也不是提高估计质量的简单保证或解决办法。

对漏报的统计讨论往往侧重于减少调查实施中的不回应[6或修正分析中的数据[10].这些方法可以很优雅,并且适用于在特定设计下收集的数据。在MCAR缺失的情况下,样本被简单地减少,而不是以一种产生偏差的方式。然而,在NMAR缺失的情况下,“真实的”观察样本是设计(已知的选择概率)和缺失模式(典型的是未知的观察概率)的组合。

在监测数据中,特别是在公共卫生危机中,由于需要迅速获得数据,现有的调查往往被重新用于额外的数据收集,或者分析人员将设计未知(如果有的话)的方便数据纳入其中。在这种重新定位的使用中(例如,通过将COVID-19问题添加到正在进行的调查中),我们很可能会出现新的(和未知的)缺失模式。仅根据设计进行调整(通过基于设计的权重,基于设计的选择概率,而不一定是响应概率),可以根据预期的设计调整估计;然而,如上所述,新的失踪原因的重要影响将被忽略。具体来说,我们研究中的例子说明了抽样权重(根据“选择”的概率进行调整)和遗漏模式(改变“响应”的概率)之间的不协调如何导致偏差。如果缺失发生在权重较低的亚种群中(如我们的总体满意的种群例子),则这种影响可以减轻;但如果缺失发生在抽样权重较高的亚种群中(如我们的总体不满意的种群例子),则这种影响可能被夸大。除非我们同时知道选择的概率和响应的概率,否则我们无法看到全貌,也无法用传统的重加权方法适当地调整估计。

正如我们的简单示例所说明的那样,设计权重的应用不应被认为是为监测目的扩展调查设计的挑战的万灵药。近距离观察图1揭示了为什么在实践中应用权重时需要谨慎的证据,特别是在响应概率未知的情况下。在我们的模拟例子中,虽然MSE和偏差随着不满意响应率的降低而上升,但抽样变异性保持不变。抽样变异性是产生置信区间和评估假设检验的基本统计量——推理方法的两个广泛的统计应用。我们可以看到,由监测数据产生的置信区间可能具有由样本量计算确定的所需宽度,但偏差(由于非随机缺失)将导致在错误数字周围的精确区间,可能导致非常糟糕的决策、政策及其后果。由于抽样可变性不能像MSE那样完全解释偏离真理的情况,在实践中,我们可能永远不会真正知道我们的样本估计值与真实但未知的总体值有多远。如果我们假设缺失完全是随机的,并产生有偏见的估计,我们报告的估计可能(而且极有可能)导致具有潜在长期公共卫生影响的错误决定。

一个更大的问题来自于使用监控数据对一个社区做出全球声明的意图。外推是建模中经常提到的一个问题,但很少转化为从非随机样本中推断更大总体参数的估计量。我们的模拟器显示,在一个人口子群体中,当应答率变得越来越差时,样本在代表更大群体时的有效性就会下降,在许多情况下,下降得相当剧烈。使用来自观察概率未知的样本的数据,特别是调查数据,其中数据可能不是MAR,是一个明显的外推例子。最终,不能充分代表边缘人口可能导致政治和社会动荡。基于这类数据的政策决定可能造成或扩大已经不利于社会正义和卫生公平成果的差距。

我们在研究中展示的模拟表明,当超出设计范围时,来自调查样本的估计有很大的偏差,特别是在由于响应概率不平衡而存在差异缺失的情况下。虽然这种偏差的可能性在理论上是已知的,但我们的模拟为该问题的潜在规模提供了一个基本但实际的说明。我们注意到,这些模拟代表了问题的一个简化(但可能并不罕见)说明;偏差的方向和幅度可能会随着调查的变化而发生很大的变化。我们认为,数据缺失的调查在监测设置中很少(如果有的话)在某种程度上是随机的,建议在不考虑潜在差异缺失的情况下仅根据抽样计划应用调查权重时要相当谨慎。特别是,我们建议在分析和解释的同时,对潜在偏差进行深思熟虑的总结,特别是那些来自多个可用数据源的分析和解释。我们建议,不是使用调查数据向上看社区,而是应该鼓励分析师考虑向下看观察到的人口。

尽管假设数据是MAR具有分析意义,但这个决定可能会带来相当大的成本。如果我们错误地随机假设缺失,我们就会得出与事实不符的结论,并可能导致毁灭性的社会后果。如果我们假设这种缺失不是随机的错误,我们就会得出更谨慎的结论,并开辟途径,更好地识别和理解我们感兴趣的人群中可能得不到充分服务的部分。非随机失踪的错误会导致对所有可用信息进行更有社会责任感的分析。

本研究的一个局限性是我们采用简单随机抽样来模拟调查经验,其中大多数监测数据集是多级聚类设计。我们注意到,更复杂的设计通常可能导致抽样可变性的膨胀,但不会减少差分响应中固有的均方误差或偏差。在我们的例子中,我们也只考虑了三种反应模式,并根据我们自己对较强的满意度和不满意倾向的表征任意分配了总体反应。我们的模拟器可供读者使用(参见多媒体附件2),并易于重新编程,以适应更复杂的人群响应概况。除了我们的李克特量表例子外,还可以修改模拟器来测量其他类型的响应类型(如连续或二进制)。我们将分析局限于一个基本的调查设计和响应,因为该设置清楚地说明了我们的观点,并反映了在分析监测数据时非常常见的设置。

结论

监测是公共卫生实践的一个重要组成部分。监测数据使我们能够产生有用的描述性措施,以确定疾病在危险人群中的传播特征。目前的大流行产生了大量数据,其中大部分来自非随机样本,或来自调查,其中数据缺失模式可能掩盖原始抽样计划,以至于仅靠传统抽样权重无法对估计数进行适当调整。我们的例子表明,有机会开发新的方法,摆脱传统的仅设计方法,转向探索数据收集设计和调整数据完整性模式的方法,让我们更有效地利用信息,为整个人口做出更好的公共卫生决策。

利益冲突

没有宣布。

多媒体附件1

方法的完整描述。

DOCX文件,16kb

多媒体附件2

SAS模拟宏。

DOCX文件,21 KB

  1. 德克里奇S,卡特AO。公共卫生监测:历史起源、方法和评价。公牛世界卫生机构1994;72(2):285-304 [免费全文] [Medline
  2. Rader B, White LF, Burns MR, Chen J, Brilliant J, Cohen J,等。戴口罩与美国SARS-CoV-2传播的控制:一项横断面研究。《柳叶刀数字健康》2021年3月3日(3):e148-e157。[CrossRef
  3. 张亮,朱松,姚红,李明,司刚,谭欣。基于两项网络调查的口罩佩戴影响因素研究:来自中国的横断面证据。国际J环境与公共卫生2021年3月26日;18(7):3447 [免费全文] [CrossRef] [Medline
  4. Gazmararian J, Weingart R, Campbell K, Cronin T, Ashta J. COVID-19大流行对格鲁吉亚两所半农村高中学生心理健康的影响。J Sch Health 2021 5月12日;91(5):356-369 [免费全文] [CrossRef] [Medline
  5. Basta NE, Sohel N, Sulis G, Wolfson C, Maimon G, Griffith LE,加拿大老龄化纵向研究(里昂证券)研究团队。23,819名50岁或以上成年人接受COVID-19疫苗意愿的相关因素:对加拿大老龄化纵向研究的分析Am J流行病学2022年5月20日;191(6):987-998 [免费全文] [CrossRef] [Medline
  6. 单位无反应和权重调整:批判性评论。J Off Stat 2013;29(3):329-353。[CrossRef
  7. Cohen J, Cohen P, West SG, Aiken LS。行为科学应用多元回归/相关分析。Hillside,新泽西州:Routledge;1983.
  8. Simonoff JS。线性回归中检测非随机缺失的回归诊断方法。技术计量1988年5月;30(2):205-214。[CrossRef
  9. 小RJA。对有缺失值的多元数据的完全随机缺失检验。jas 1988 Dec;83(404):1198-1202。[CrossRef
  10. 小r。In: Rubin D,编辑。数据缺失的统计分析,第三版。霍博肯,新泽西州:约翰·威利和儿子们;2019.
  11. 卡塞拉G,伯格RL。统计推断。生物计量学1993年3月49日(1):320。[CrossRef


均方误差:均方误差
3月:随机失踪
MCAR:完全随机失踪
NMAR:不是随机丢失


编辑:Y Khader;提交10.03.22;由K Cummins、M Raimi同行评审;作者03.04.22;修订版收到了20.05.22;接受05.08.22;发表09.09.22

版权

©保罗·塞缪尔·韦斯,兰斯·阿林·沃勒。最初发表于JMIR公共卫生和监测(https://publichealth.www.mybigtv.com), 2022年9月9日。

这是一篇开放获取的文章,根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)发布,该协议允许在任何媒体上不受限制地使用、分发和复制,但必须适当引用首次发表在《JMIR公共卫生与监测》上的原文。必须包括完整的书目信息,https://publichealth.www.mybigtv.com上的原始出版物链接,以及版权和许可信息。


Baidu
map