这是一篇开放获取的文章,根据创作共用署名许可(http://creativecommons.org/licenses/by/2.0/)的条款发布,允许在任何媒介上无限制地使用、分发和复制,前提是正确引用最初发表在《医学互联网研究杂志》上的原创作品。必须包括完整的书目信息,//www.mybigtv.com/上的原始出版物的链接,以及此版权和许可信息。
低收入和中等收入国家(LMICs)手机拥有率的上升为改变现有数据收集和监测方法提供了机会。通过交互式语音应答(IVR)技术(一种移动电话调查(MPS)方法)管理调查有可能扩大当前的监测覆盖范围和数据收集,但还需要开展形式化工作,将调查背景化,以便在LMIC部署时使用。
本研究的主要目的是(1)在通过IVR平台管理的非传染性疾病(NCD)风险因素问卷中进行认知测试并识别具有挑战性的问题;(2)评估IVR平台的可用性。
我们在马里兰州巴尔的摩市对IVR调查进行了两轮试点测试。如果参与者被确定为来自LMIC,则被纳入研究。第一轮包括个人访谈,以测试参与者对问题的理解程度。在第二轮中,与第一轮参与者不同的参与者被置于焦点小组中,并被要求对IVR平台的可用性进行评论。
在第一轮中,共有12名来自中低收入国家的参与者接受了认知测试,以评估他们对ivr管理的调查中问题的理解和理解。总体而言,参与者发现大多数问题都很容易理解,而且记录大部分答案也没有困难。最常见的建议是使用具体国家的例子和衡量单位。在第二轮中,由12名参与者组成的独立小组评估了IVR平台的可用性。总体而言,参与者认为调查的长度是合适的(平均:18分31秒),但大多数人表示在回答具有类似问题结构的问题时感到疲劳。几乎所有参与者都认为IVR调查比面对面的问卷调查更诚实、准确,尤其是在敏感话题上。
总体而言,参与者表示对IVR管理的问卷有清晰的理解,并且IVR平台是用户友好的。在LMIC中部署之前,需要对问卷进行形成性研究和认知测试,以进一步适应。
低收入和中等收入国家(LMICs)的移动电话拥有率和接入率不断上升,从2000年的10亿增长到2012年的60亿,这为改变当前的监测活动模式提供了机会,并有可能提高数据收集和报告的效率和及时性[
交互式语音应答(IVR)技术是进行MPS的几种选择之一。IVR利用预先录制的问卷,通过电话进行管理[
在将家庭管理的问卷适应IVR调查时,考虑到IVR的局限性,对IVR问卷的认知测试和评估其可用性变得必不可少;特别是由于其自我管理的性质,受访者没有机会提出任何澄清性的问题。在调查过程中,认知测试经常被用于识别受访者难以理解的问题,并确保这些问题能充分捕捉到预期的信息[
这项试点研究的两个目标是:(1)在通过IVR管理的非传染性疾病风险因素问卷中进行认知测试和识别具有挑战性的问题;(2)评估IVR平台的可用性,并确定其在低收入和中等收入国家实施的未来挑战。本研究的结果将用于修改问卷和IVR平台,然后在每个部署IVR调查的LMIC中进行类似的一系列形成性活动。
作为彭博慈善基金会健康数据倡议(BD4HI)的一部分[
IVR调查包括一个简短的介绍,随后是一个询问是否同意参与的问题,人口统计问题,以及NCD模块(
交互式语音应答(IVR)调查设计。非传染性疾病。
每轮试点测试所包含的每个模块的问题数量和来源。
模块 | 第一轮 |
第二轮 |
源调查 |
介绍或同意 | 1 | 1 | - |
人口统计资料 | 5 | 6 | - |
烟草 | 2 | 2 | tq操作 |
酒精 | 3. | 3. | 步骤 |
饮食 | 10 | 10 | 步骤 |
糖尿病和降压药 | 4 | 4 | 步骤 |
体育活动 | 12 | - | IPAQ |
体育活动 | - | 20. | GPAQ |
生活方式 | 6 | - | 步骤 |
总共N个问题 | 43 | 46 |
|
如果参与者精通英语并被确认为非洲、亚洲、拉丁美洲或南美洲任何国家的人,他们就有资格被纳入试点研究。年龄在21岁以下或有听力障碍的参与者被排除在外。该研究获得了JHSPH机构审查委员会(IRB)的伦理批准。研究参与者提供口头同意,并获得当地咖啡店10美元的礼品卡作为参与的补偿。
我们进行了两轮试点测试,每轮都有不同的参与者,以更清楚地了解参与者的思维过程(第一轮),并评估IVR调查的可用性(第二轮)。两轮之间的问题和模块略有不同(
为了尽量减少回忆偏差,参与者被一次管理一个模块。每个模块结束后,IVR调查暂停,参与者通过主动探究进行认知测试,以评估他们对每个问题的理解,并确定特定的误解领域。在第一轮中向参与者提问的代表性例子见
非传染性疾病问题和模块的可理解性评分,如果75%的参与者对整个模块的介绍或问题内容整体不表示关注,则被认为是“高”>;如果51-75%的参与者表示不担心,则为“中等”;如果<50%的参与者认为没有困难,则为“低”。
在第二轮中,2-3组参与者完整地听取了IVR调查,然后被问及IVR可用性和调查的任何整体问题(参见
第一轮:认知测试
这个问题清楚吗?
是否有难以理解的单词或短语?
“XXX”这个词对你来说意味着什么?
你对自己的答案有多自信?
你认为在中低收入国家提出这个问题会有什么挑战吗?
第二轮:交互式语音应答(IVR)的可用性
哪些因素会导致你或多或少地参与类似的手机管理健康或非传染性疾病调查?
请谈谈您在IVR调查中的反应和经历,或者如果您将来有这样的调查,您会有什么反应?
如果你所在国家或社区的人们在手机上收到这样一份调查,你预计他们会作何反应?
这些模块是随机的——你认为在你的国家随机选择问题有什么需要考虑的问题吗?
2016年1月至2月,在马里兰州巴尔的摩市,共有24名参与者进行了试点测试,两轮每轮有12名参与者。
在第一轮(n=12)中,参与者的年龄和完成教育年限的中位数为27岁(IQR: 25-30岁;年龄范围:22-56岁)和15岁(IQR: 13-18岁;范围:9-20年),分别为(
每轮参与者的人口学特征。
人口特征 | 第一轮 |
第二轮 |
总计 |
|||
|
|
|
|
|||
|
男性 | 4 (33) | 4 (33) | 8 (33) | ||
|
女 | 8 (67) | 8 (67) | 16 (67) | ||
|
|
|
|
|||
|
非洲 | 2 (17) | 8 (67) | 10 (42) | ||
|
南亚 | 5 (42) | 1 (8) | 6 (25) | ||
|
中亚及东亚 | 2 (17) | 1 (8) | 3 (13) | ||
|
拉丁美洲 | 2 (17) | 1 (8) | 3 (13) | ||
|
南美 | 1 (8) | 1 (8) | 2 (8) | ||
年龄(年),中位数(IQR) | 27 (25 - 30) | 28.5 (26-33) | 27 (25-31) | |||
教育年限,中位数(IQR) | 十三至十八15 () | 14 - 19(18日) | 十三至十八16 () |
除了这一调查范围内的评论,还有几个问题对参与者来说是有问题的。下面列出这些问题及其各自面临的挑战,并在
(在你的祖国)你住在农村还是城市?如果你住在农村,请按1。如果你住在市区,请按3。
事实证明,这是一个更具挑战性的问题,11名(91.7%)受访者表示担心,参与这项调查的其他人可能难以区分和定义城市和农村。有两位(16.7%)嘉宾建议将“市区周边”列入备选回应。
不包括学前教育,你完成了多少年的学校和全日制学习?请输入年份。
所有参与者都对这个问题有疑问,许多人报告说他们觉得计算答案很匆忙。四名受访者(33.3%)建议去掉“学前教育”一词,三名受访者(25%)建议将回答转换为类别(如小学、中学等),以便与国家的教育体系相匹配。
一杯相当于12盎司的啤酒,一杯5盎司的葡萄酒,或者一杯酒…
三名参与者(25%)至少不理解所使用的测量术语之一,并强调需要在国内进行研究,以提供准确的测量和具体国家的例子。
...我想让你想想盐的所有来源,包括普通食盐,未经精制的盐,如海盐,碘盐,咸高汤块和粉末,以及咸酱汁,如酱油或鱼露。
大约92%(11/12)的参与者对此感到困惑,表示他们不熟悉所使用的一些例子(例如,参与者说他们的国家不使用酱油)。三分之一的参与者(n=4)表示列举的例子太多,并建议不要使用发音相似的例子或句子结构。
一份蔬菜大约是一杯绿叶蔬菜或沙拉或半杯煮熟或切碎的蔬菜。你每天会吃多少份这样的蔬菜?
三名参与者(25%)对这个问题表示困惑。参与者评论说,“绿叶蔬菜”的使用使他们只包括绿色蔬菜,而排除了其他蔬菜,比如胡萝卜。
在工作中,你每天花多少时间做高强度的活动?我要你先输入小时,再输入分钟。请输入16小时到0小时之间?
在参与者报告了几个小时后,问题接着是
现在在59分钟和0分钟之间输入。
一半的参与者(n=6)认为时间的测量方式令人困惑;先问小时,再问分钟。嘉宾建议简化问题,只询问工作时间。
受访者对交互式语音应答(IVR)问卷可理解性的评估摘要。
模块 | 可理解程度一个
|
讲话 |
人口统计资料 | 媒介 | 受访者对教育和农村或城市环境的理解度较低,但对年龄和性别的理解度较高。 |
烟草 | 高 | 除了提供具体国家的烟草例子外,没有其他挑战。 |
酒精 | 媒介 | 参与者很难理解衡量他们饮酒量的单位。 |
饮食 | 媒介 | 参与者对盐问题的理解能力较低,但对水果和蔬菜问题的理解能力分别较高和中等。 |
血压和糖尿病 | 高 | 没有发现挑战。 |
体育活动(IPAQ) | 媒介 | 参与者很难区分运动水平(中度和剧烈)。问题结构重复,导致报告疲劳。 |
体育活动(GPAQ) | 低 | 参与者很难区分不同的活动水平,也很难用问题结构来估计他们花在体育活动上的时间。问题结构重复,导致报告疲劳。 |
生活方式 | 高 | 没有发现挑战。 |
一个可理解性被认为是“高”>75%的参与者在第一轮测试中对整个模块的介绍或问题内容整体不表示关注;如果51-75%的参与者表示不担心,则为“中等”;如果<50%的参与者认为没有困难,则为“低”。
第二轮参与者在人口统计学上与第一轮参与者相似;受访者年龄及完成教育年数中位数为28.5岁(IQR: 26-33岁;年龄范围:22-35岁)和18岁(IQR: 14-19岁;范围:4-20年),分别为(
整体而言,大部份嘉宾认为是次调查的时长是适当的,亦有不少嘉宾评价是次调查的彻底。当被问及愿意花多长时间通过手机完成调查时,参与者估计在10-20分钟之间。参与者对特定问题和模块的长度比对整体调查更挑剔。在某些模块中,反应疲劳与不熟悉的例子、重复的问题结构和理解叙述者的困难有关。
调查以介绍开始,其中包括按键说明、预期调查持续时间以及调查“由卫生部主办”。大多数参与者认为介绍和说明足以完成IVR调查。有些嘉宾表示,显示调查由政府赞助,可能会对回复率产生正面或负面影响,视乎国家情况而定。例如,参与者认为受访者在选举期间参加政府赞助的调查可能会更加犹豫。
与会者赞赏在有两个答案的问题上一贯使用按键选项,例如“是”或“否”问题(例如,按1表示“是”,按3表示“否”)。同样,参与者也很高兴被允许通过按星号键来重复问题。
几位与会者还评论说,从作出答复到叙述下一个问题之间的时间太短。一些参与者没有听到下一个问题的前几个字,因为他们在输入答案后把手机拿回耳边。
几乎所有参与者都经历了理解被选来记录调查的叙述者(加纳语)口音的混乱。许多与会者评论说,讲述者语调单调,语速过快。参加者建议讲解员使用语调变化来强调问题的重点。
参与者发现冗长的问题和句子结构相似的模块是重复的,导致他们无法集中注意力。这是体育活动模块中的一个关键问题,其中三组类似的问题分别针对三种不同水平的体育活动:(1)剧烈体育活动,(2)适度体育活动,(3)步行。在回答了剧烈体育活动的问题后,一些参与者没有意识到他们被问到的是关于适度体育活动的新问题。几乎所有的参与者都无法区分运动水平(例如,剧烈运动和适度运动),一些人承认他们无意中重复计算了自己的运动量。
当被问及在其出生国部署IVR调查的潜在障碍时,参与者提到受访者可能无法在通话时移动到安静的位置,并且可能拒绝接听不熟悉的电话号码的来电。参与者还认为,未来的IVR调查将受益于包括激励措施,因为如果随机拨号,有些人可能无法完成调查。然而,他们也表示,要求用户通过电话输入个人信息(如银行账户信息)即使有激励措施,也会有问题,可能会导致用户根本不参与调查。当被告知不要求任何额外或个人信息的通话时间激励时,所有参与者都认为这是一个更好的选择。
几乎所有受访者都更喜欢通过电话进行调查,而不是面对面。参与者很欣赏IVR调查的匿名性,喜欢它比面对面访谈更不个人化,为诚实回答奠定了基础。与会者对饮酒和医疗诊断等在本国可能被视为敏感或有争议的话题表示关切。一些与会者表示,可能鼓励受访者选择支持社会更接受的“健康”选项的答案。
IVR平台提供了一个机会,可以改变目前大规模家庭调查的数据收集模式,并有可能提高数据的质量和利用率[
人们普遍要求对问题的发展和结构施加更大的国内影响,这表明有必要进行类似的国内认知测试。开展主要线人访谈和焦点小组讨论将使在国家管理之前对具体国家的调查进行调整。形成性研究应侧重于选择当地术语作为例子(例如,体育活动的类型,测量术语)。对于一些调查,使用不同的模块,包括次国家和特定区域的术语,可以提高响应的可理解性和准确性。在IVR调查的未来发展过程中,即使一般调查也是为了对关键指标进行跨国比较,根据相关国家的实例对当地具体国家进行适应也很重要。例如,在文化水平较低的环境中,精确到分钟的时间概念可能很难引出,人们可能会用半小时或一刻钟的时间块来描述所调查活动的持续时间[
形成性研究应进一步注重选择本国和地区的叙述者,因为各地的方言可能各不相同。在音频录制阶段,应该有一个必要的指导,即让叙述者缓慢地说话并语调特定的单词,由问卷开发团队战略性地选择,以强调关键细节[
测试中最有希望的发现之一是对调查长度的总体接受度(平均:18分钟31秒)和对教学彻底性的赞赏。这表明,类似长度的调查可能是补充现有监测方法的可行选择,但它们需要进一步的实证检验。参与者对问题提示和模块介绍的彻底性表示赞赏,即使是以增加调查的长度为代价,这表明只要总体时间持续时间保持合理,可能并不总是需要牺牲细节来最小化总体调查长度。参与者不喜欢匆忙回答问题的感觉,这支持延长选择答案的时间。在未来的形成性工作中,测试问题之间的各种停顿时间将是很重要的,这样参与者就不会
在讨论IVR调查的潜在障碍时,应考虑参与者是否准备好完成调查。有些嘉宾担心日后的受访者在接到电话后无法完成调查。这提供了提前通知受访者的机会,例如通过短信,他们将收到来自未知电话号码的电话来管理调查。引入一种技术来选择接听电话的最佳时间窗口也可以提高响应率。
随着一些参与者对政府来源的公众舆论和参与调查的意愿提出担忧,形成性研究应该评估文本的感知和可能性,以便在连接时尽早纳入调查介绍部分。介绍应传达这样的信息,即这是由国家认可的公共卫生机构或研究机构实施的正式批准或批准的调查。提及这样一个中立机构或公共机构的名称,以及该调查将通过提供信息以便更好地进行规划,为公共卫生共同利益服务,可以提高参与者继续进行调查的意愿。通过邀请知名、受欢迎和受尊重的人物(如运动员)来叙述调查,也可以提高回复率。为了进一步提高回复率,未来的研究应检查整体和人口特定激励的有效性,以提高调查研究人群的普遍性。
这项研究有几个局限性。首先,我们的样本主要由一所大学的学生和研究员组成,他们对公共卫生主题和监测方法有一定的了解。因此,与LMIC社区的其他成员相比,本研究的参与者在理解问卷上可能有更少的困难。同样,许多参与者没有被问及有关风险因素或健康状况的后续问题,因此可能导致调查比发送给具有社区代表性的样本所观察到的结果更短。其次,我们的研究样本年龄相对较年轻,因此可能更擅长使用手机。在使用调查问卷之前,需要在每个国家和广泛的人口群体中进行认知测试。第三,我们没有收集参与者在本国生活了多长时间的信息。这对我们的研究结果有潜在的影响,因为我们要求参与者通过LMIC调查参与者的视角来构建他们的几个回答。
总的来说,参与者在理解问题和记录他们的回答方面没有困难。大多数参与者都很欣赏IVR调查的匿名性,并表示与面对面访谈相比,它鼓励诚实和准确的回答。参加者亦认为调查的时间长度是适当的,并希望能有详尽的说明。
结合参与者的共同建议并进行形成性研究,将有助于开发可通过IVR管理的非传染性疾病调查,特别是围绕选择特定国家的例子和叙述者来提高理解能力。这表明IVR可能是一种适当的工具,可以对低收入和中等收入国家的人群进行及时、资源高效的风险因素监测。
用于认知测试的问卷(第一轮)。
可用性评估问卷(第2轮)。
行为风险因素监测系统
疾病控制和预防中心
全球身体活动问卷
国际体育活动问卷
四分位范围
交互式语音应答
约翰霍普金斯大学彭博公共卫生学院
中低收入国家
手机调查
非传染性疾病
短消息服务
世界卫生组织
烟草调查问题
世卫组织的分步监测方法
这项研究由彭博慈善基金会资助。这个资助机构在这篇手稿的准备中没有任何作用。我们要感谢疾病控制和预防中心和世界卫生组织的同事们在选择纳入调查的问题方面所作的贡献。
没有宣布。