开发非传染性疾病风险因素评估的交互式语音响应调查:技术评估和认知测试

简介

低收入和中等收入国家(LMICs)的移动电话拥有率和接入率不断上升，从2000年的10亿增长到2012年的60亿，这为改变当前的监测活动模式提供了机会，并有可能提高数据收集和报告的效率和及时性[1］．移动电话调查(MPS)就是这样一个机会，与传统的基于家庭的调查相比，它有几个潜在的优势。这些优点包括实时输入数据以进行及时的数据分析，提供对财务和人力资源要求较低的调查，以及答复的匿名性[2］．随着非传染性疾病负担的日益加重[3.]，因此更有必要收集和利用数据，以指导公共卫生项目和遏制全球非传染性疾病流行[4］．

交互式语音应答(IVR)技术是进行MPS的几种选择之一。IVR利用预先录制的问卷，通过电话进行管理[5］．参与者通过按键或语音识别软件选择回答。响应立即提交至基于web的数据库或内部服务器，以便及时进行数据综合和分析[6］．IVR应对了短消息服务(SMS)调查的一个关键挑战:识字人群的需求。

在将家庭管理的问卷适应IVR调查时，考虑到IVR的局限性，对IVR问卷的认知测试和评估其可用性变得必不可少;特别是由于其自我管理的性质，受访者没有机会提出任何澄清性的问题。在调查过程中，认知测试经常被用于识别受访者难以理解的问题，并确保这些问题能充分捕捉到预期的信息[7，8］．认知测试的结果可以指导问题的措辞和格式，从而提高调查回答的可理解性和准确性[9］．

这项试点研究的两个目标是:(1)在通过IVR管理的非传染性疾病风险因素问卷中进行认知测试和识别具有挑战性的问题;(2)评估IVR平台的可用性，并确定其在低收入和中等收入国家实施的未来挑战。本研究的结果将用于修改问卷和IVR平台，然后在每个部署IVR调查的LMIC中进行类似的一系列形成性活动。

方法

调查问卷的发展

作为彭博慈善基金会健康数据倡议(BD4HI)的一部分[10]，调查方法、非传染性疾病和流动卫生方面的专家于2015年6月召开会议，制定了一份非传染性疾病风险因素问卷，该问卷可适用于MPS，并用于从低收入和中等收入国家收集具有人口代表性的估计值[11］．问题选自标准化家庭调查，如世卫组织逐步监测、烟草调查问题和行为风险因素监测系统[12-14］．优先考虑与非传染性疾病全球监测框架指标相对应并涵盖非传染性疾病4个主要风险因素(体育活动、饮酒、吸烟和饮食)的问题[15］．选择问题进行IVR调查，独立于他们对IVR模式的感知适用性。这就产生了β适用于VOTO移动IVR平台的问卷版本，该平台是加纳的一个组织，致力于开发MPS系统[16并用于认知测试IVR调查和评估其可用性(见多媒体附件1而且2)．

IVR调查包括一个简短的介绍，随后是一个询问是否同意参与的问题，人口统计问题，以及NCD模块(图1)．模块是一系列主题相似的问题，如饮酒、吸烟和饮食摄入(表1)．在IVR平台上编程，随机化NCD模块的传递顺序。对于每个问题，IVR调查都经过编程，以便受访者可以通过按手机上的星号“星号键”重复问题。

‎ 查看此图

参与者

如果参与者精通英语并被确认为非洲、亚洲、拉丁美洲或南美洲任何国家的人，他们就有资格被纳入试点研究。年龄在21岁以下或有听力障碍的参与者被排除在外。该研究获得了JHSPH机构审查委员会(IRB)的伦理批准。研究参与者提供口头同意，并获得当地咖啡店10美元的礼品卡作为参与的补偿。

数据收集与分析

我们进行了两轮试点测试，每轮都有不同的参与者，以更清楚地了解参与者的思维过程(第一轮)，并评估IVR调查的可用性(第二轮)。两轮之间的问题和模块略有不同(表1)．参与者在研究组提供的三星车队3手机上听取了IVR调查。选择这款简单的手机作为中低收入国家常用手机类型的代理。每一轮试点测试的参与者都被要求诚实地回答IVR调查，并思考如果在原籍国进行调查，该如何改进这项调查。

第一轮:认知测试

为了尽量减少回忆偏差，参与者被一次管理一个模块。每个模块结束后，IVR调查暂停，参与者通过主动探究进行认知测试，以评估他们对每个问题的理解，并确定特定的误解领域。在第一轮中向参与者提问的代表性例子见文本框1．

非传染性疾病问题和模块的可理解性评分，如果75%的参与者对整个模块的介绍或问题内容整体不表示关注，则被认为是“高”>;如果51-75%的参与者表示不担心，则为“中等”;如果<50%的参与者认为没有困难，则为“低”。

第二轮:IVR平台可用性评估

在第二轮中，2-3组参与者完整地听取了IVR调查，然后被问及IVR可用性和调查的任何整体问题(参见文本框2)．我们鼓励参与者对调查的措辞、长度、可理解性以及如果在中低收入国家环境下进行全国性调查，如何提高调查效果提出任何意见．对调查的长度，调查的介绍，以及他们喜欢或不喜欢IVR平台的功能进行了评论。在焦点小组之后，参与者通过IVR单独接受GPAQ体育活动问题，并使用与第一轮类似的方法进行认知测试，以评估他们的理解。在第二轮期间没有对其他非传染性疾病模块进行认知测试。

结果

2016年1月至2月，在马里兰州巴尔的摩市，共有24名参与者进行了试点测试，两轮每轮有12名参与者。

认知测试:第一轮

在第一轮(n=12)中，参与者的年龄和完成教育年限的中位数为27岁(IQR: 25-30岁;年龄范围:22-56岁)和15岁(IQR: 13-18岁;范围:9-20年)，分别为(表2)．通过对参与者的个别访谈进行认知测试，发现问题中用于帮助受访者回答的示例(例如，“我现在想问您有关吸烟的问题，包括香烟、雪茄和烟斗。”)是整个非传染性疾病模块共同关注的领域。所有12名参与者(100%)评论说，所提供的饮食、体育活动、烟草和酒精的例子应针对正在进行调查的国家。

除了这一调查范围内的评论，还有几个问题对参与者来说是有问题的。下面列出这些问题及其各自面临的挑战，并在表3．

城市或乡村环境

(在你的祖国)你住在农村还是城市?如果你住在农村，请按1。如果你住在市区，请按3。

事实证明，这是一个更具挑战性的问题，11名(91.7%)受访者表示担心，参与这项调查的其他人可能难以区分和定义城市和农村。有两位(16.7%)嘉宾建议将“市区周边”列入备选回应。

教育

不包括学前教育，你完成了多少年的学校和全日制学习?请输入年份。

所有参与者都对这个问题有疑问，许多人报告说他们觉得计算答案很匆忙。四名受访者(33.3%)建议去掉“学前教育”一词，三名受访者(25%)建议将回答转换为类别(如小学、中学等)，以便与国家的教育体系相匹配。

酒精

一杯相当于12盎司的啤酒，一杯5盎司的葡萄酒，或者一杯酒…

三名参与者(25%)至少不理解所使用的测量术语之一，并强调需要在国内进行研究，以提供准确的测量和具体国家的例子。

盐的摄入量

.．.我想让你想想盐的所有来源，包括普通食盐，未经精制的盐，如海盐，碘盐，咸高汤块和粉末，以及咸酱汁，如酱油或鱼露。

大约92%(11/12)的参与者对此感到困惑，表示他们不熟悉所使用的一些例子(例如，参与者说他们的国家不使用酱油)。三分之一的参与者(n=4)表示列举的例子太多，并建议不要使用发音相似的例子或句子结构。

蔬菜消费

一份蔬菜大约是一杯绿叶蔬菜或沙拉或半杯煮熟或切碎的蔬菜。你每天会吃多少份这样的蔬菜?

三名参与者(25%)对这个问题表示困惑。参与者评论说，“绿叶蔬菜”的使用使他们只包括绿色蔬菜，而排除了其他蔬菜，比如胡萝卜。

体育活动

在工作中，你每天花多少时间做高强度的活动?我要你先输入小时，再输入分钟。请输入16小时到0小时之间?

在参与者报告了几个小时后，问题接着是

现在在59分钟和0分钟之间输入。

一半的参与者(n=6)认为时间的测量方式令人困惑;先问小时，再问分钟。嘉宾建议简化问题，只询问工作时间。

IVR平台可用性:第2轮

第二轮参与者在人口统计学上与第一轮参与者相似;受访者年龄及完成教育年数中位数为28.5岁(IQR: 26-33岁;年龄范围:22-35岁)和18岁(IQR: 14-19岁;范围:4-20年)，分别为(表2)．由于在46个问题的调查中设置了跳过模式，平均回答的问题数量为36个。参与者平均花费18分钟31秒回答调查(数据未显示)。

测量长度

整体而言，大部份嘉宾认为是次调查的时长是适当的，亦有不少嘉宾评价是次调查的彻底。当被问及愿意花多长时间通过手机完成调查时，参与者估计在10-20分钟之间。参与者对特定问题和模块的长度比对整体调查更挑剔。在某些模块中，反应疲劳与不熟悉的例子、重复的问题结构和理解叙述者的困难有关。

调查的介绍

调查以介绍开始，其中包括按键说明、预期调查持续时间以及调查“由卫生部主办”。大多数参与者认为介绍和说明足以完成IVR调查。有些嘉宾表示，显示调查由政府赞助，可能会对回复率产生正面或负面影响，视乎国家情况而定。例如，参与者认为受访者在选举期间参加政府赞助的调查可能会更加犹豫。

调查显示功能

与会者赞赏在有两个答案的问题上一贯使用按键选项，例如“是”或“否”问题(例如，按1表示“是”，按3表示“否”)。同样，参与者也很高兴被允许通过按星号键来重复问题。

几位与会者还评论说，从作出答复到叙述下一个问题之间的时间太短。一些参与者没有听到下一个问题的前几个字，因为他们在输入答案后把手机拿回耳边。

几乎所有参与者都经历了理解被选来记录调查的叙述者(加纳语)口音的混乱。许多与会者评论说，讲述者语调单调，语速过快。参加者建议讲解员使用语调变化来强调问题的重点。

问题的结构

参与者发现冗长的问题和句子结构相似的模块是重复的，导致他们无法集中注意力。这是体育活动模块中的一个关键问题，其中三组类似的问题分别针对三种不同水平的体育活动:(1)剧烈体育活动，(2)适度体育活动，(3)步行。在回答了剧烈体育活动的问题后，一些参与者没有意识到他们被问到的是关于适度体育活动的新问题。几乎所有的参与者都无法区分运动水平(例如，剧烈运动和适度运动)，一些人承认他们无意中重复计算了自己的运动量。

感知IVR的障碍和解决方案

当被问及在其出生国部署IVR调查的潜在障碍时，参与者提到受访者可能无法在通话时移动到安静的位置，并且可能拒绝接听不熟悉的电话号码的来电。参与者还认为，未来的IVR调查将受益于包括激励措施，因为如果随机拨号，有些人可能无法完成调查。然而，他们也表示，要求用户通过电话输入个人信息(如银行账户信息)即使有激励措施，也会有问题，可能会导致用户根本不参与调查。当被告知不要求任何额外或个人信息的通话时间激励时，所有参与者都认为这是一个更好的选择。

几乎所有受访者都更喜欢通过电话进行调查，而不是面对面。参与者很欣赏IVR调查的匿名性，喜欢它比面对面访谈更不个人化，为诚实回答奠定了基础。与会者对饮酒和医疗诊断等在本国可能被视为敏感或有争议的话题表示关切。一些与会者表示，可能鼓励受访者选择支持社会更接受的“健康”选项的答案。

讨论

主要研究结果

IVR平台提供了一个机会，可以改变目前大规模家庭调查的数据收集模式，并有可能提高数据的质量和利用率[17］．两轮试点测试的结果为定制IVR平台以提高未来受访者的可用性提供了指导，并确定需要进一步改进的挑战性问题，以确保正确收集预期的数据。

人们普遍要求对问题的发展和结构施加更大的国内影响，这表明有必要进行类似的国内认知测试。开展主要线人访谈和焦点小组讨论将使在国家管理之前对具体国家的调查进行调整。形成性研究应侧重于选择当地术语作为例子(例如，体育活动的类型，测量术语)。对于一些调查，使用不同的模块，包括次国家和特定区域的术语，可以提高响应的可理解性和准确性。在IVR调查的未来发展过程中，即使一般调查也是为了对关键指标进行跨国比较，根据相关国家的实例对当地具体国家进行适应也很重要。例如，在文化水平较低的环境中，精确到分钟的时间概念可能很难引出，人们可能会用半小时或一刻钟的时间块来描述所调查活动的持续时间[18］．

形成性研究应进一步注重选择本国和地区的叙述者，因为各地的方言可能各不相同。在音频录制阶段，应该有一个必要的指导，即让叙述者缓慢地说话并语调特定的单词，由问卷开发团队战略性地选择，以强调关键细节[19］．更大的语调和问题结构多样性也可以使IVR调查更加个性化，同时仍能获得匿名的好处[20.］．研究确定被认为敏感或个人的话题将有助于确定参与者更重视保密的问题。在涉及敏感或个人内容的模块之前提醒参与者保密，有助于留住参与者并提高真实性(例如，“提醒一下，这项调查是保密的”)[21］．还应考虑叙述者的年龄和性别。在加纳，研究人员发现，由女性叙述的IVR调查的回复率更高[22］．

测试中最有希望的发现之一是对调查长度的总体接受度(平均:18分钟31秒)和对教学彻底性的赞赏。这表明，类似长度的调查可能是补充现有监测方法的可行选择，但它们需要进一步的实证检验。参与者对问题提示和模块介绍的彻底性表示赞赏，即使是以增加调查的长度为代价，这表明只要总体时间持续时间保持合理，可能并不总是需要牺牲细节来最小化总体调查长度。参与者不喜欢匆忙回答问题的感觉，这支持延长选择答案的时间。在未来的形成性工作中，测试问题之间的各种停顿时间将是很重要的，这样参与者就不会错过听部分问题。

在讨论IVR调查的潜在障碍时，应考虑参与者是否准备好完成调查。有些嘉宾担心日后的受访者在接到电话后无法完成调查。这提供了提前通知受访者的机会，例如通过短信，他们将收到来自未知电话号码的电话来管理调查。引入一种技术来选择接听电话的最佳时间窗口也可以提高响应率。

随着一些参与者对政府来源的公众舆论和参与调查的意愿提出担忧，形成性研究应该评估文本的感知和可能性，以便在连接时尽早纳入调查介绍部分。介绍应传达这样的信息，即这是由国家认可的公共卫生机构或研究机构实施的正式批准或批准的调查。提及这样一个中立机构或公共机构的名称，以及该调查将通过提供信息以便更好地进行规划，为公共卫生共同利益服务，可以提高参与者继续进行调查的意愿。通过邀请知名、受欢迎和受尊重的人物(如运动员)来叙述调查，也可以提高回复率。为了进一步提高回复率，未来的研究应检查整体和人口特定激励的有效性，以提高调查研究人群的普遍性。

限制

这项研究有几个局限性。首先，我们的样本主要由一所大学的学生和研究员组成，他们对公共卫生主题和监测方法有一定的了解。因此，与LMIC社区的其他成员相比，本研究的参与者在理解问卷上可能有更少的困难。同样，许多参与者没有被问及有关风险因素或健康状况的后续问题，因此可能导致调查比发送给具有社区代表性的样本所观察到的结果更短。其次，我们的研究样本年龄相对较年轻，因此可能更擅长使用手机。在使用调查问卷之前，需要在每个国家和广泛的人口群体中进行认知测试。第三，我们没有收集参与者在本国生活了多长时间的信息。这对我们的研究结果有潜在的影响，因为我们要求参与者通过LMIC调查参与者的视角来构建他们的几个回答。

结论

总的来说，参与者在理解问题和记录他们的回答方面没有困难。大多数参与者都很欣赏IVR调查的匿名性，并表示与面对面访谈相比，它鼓励诚实和准确的回答。参加者亦认为调查的时间长度是适当的，并希望能有详尽的说明。

结合参与者的共同建议并进行形成性研究，将有助于开发可通过IVR管理的非传染性疾病调查，特别是围绕选择特定国家的例子和叙述者来提高理解能力。这表明IVR可能是一种适当的工具，可以对低收入和中等收入国家的人群进行及时、资源高效的风险因素监测。