JMIR
J医疗互联网服务
医学互联网研究杂志
1438 - 8871
卡塔尔世界杯8强波胆分析
加拿大多伦多
v24i1e25419
34994700
10.2196/25419
的观点
的观点
为服务不足的群体设计有效的电子卫生干预措施:十年电子卫生干预措施设计和部署的五个教训
Kukafka
丽塔
Eysenbach
冈瑟
特莱诺,博士,公共卫生硕士
希瑟
Eapen
贝尔
Mircheva
Iskra
着陆器
乔纳斯
李
埃德蒙WJ
学士,硕士,博士
1
威金威传播与信息学院
南洋理工大学
南洋干线31号
魏金伟传播与信息学院大楼
新加坡,637718年
新加坡
65 69083429
elwj88@gmail.com
https://orcid.org/0000-0003-0536-2898
McCloud
瑞秋F
英里每小时,ScD
2
https://orcid.org/0000-0003-0174-2260
Viswanath
Kasisomayajula
博士学位
2
3.
https://orcid.org/0000-0002-4795-5803
威金威传播与信息学院
南洋理工大学
新加坡
新加坡
丹娜法伯癌症研究所
波士顿
美国
哈佛公共卫生学院
波士顿
美国
通讯作者:Edmund WJ Lee
elwj88@gmail.com
1
2022
7
1
2022
24
1
e25419
10
11
2020
2
3.
2021
25
6
2021
8
10
2021
©Edmund WJ Lee, Rachel F McCloud, Kasisomayajula Viswanath。最初发表于《医疗互联网研究杂志》(//www.mybigtv.com), 07.01.2022。
2022
这是一篇开放获取的文章,根据创作共用署名许可(https://creativecommons.org/licenses/by/4.0/)的条款发布,允许在任何媒介上无限制地使用、分发和复制,前提是正确引用最初发表在《医学互联网研究杂志》上的原创作品。必须包括完整的书目信息,//www.mybigtv.com/上的原始出版物的链接,以及此版权和许可信息。
尽管用于传播健康信息的电子卫生干预措施(如门户网站)或使用移动应用程序和可穿戴设备进行健康监测的电子卫生干预措施日益普及,但研究表明,得不到充分服务的群体并未从这些电子卫生干预措施中获得相应的好处。这在很大程度上是因为可用性问题,以及缺乏对技术采用和使用的更广泛的结构、物理和心理障碍的关注。本文的目的是从十年来设计不同的以用户为中心的电子卫生干预措施(例如,门户网站和健康应用程序)的经验中吸取教训,为未来利用技术解决健康差距的工作提供信息。我们从一系列干预措施中吸取了这些经验教训,这些干预措施来自我们在丹娜-法伯癌症研究所和哈佛大学陈th公共卫生学院的维斯瓦纳特实验室进行的15年多的工作,重点是三个项目,这些项目使用了针对服务不足群体的门户网站和健康应用程序。项目如下:
点击连接这是一项以社区为基础的电子卫生干预措施,旨在通过提供高速互联网、计算机和互联网培训课程的家庭接入,以及提供持续技术支持的专用卫生门户,提高服务不足群体的互联网技能和健康素养;
行星MassCONECT这是一个知识转化项目,在马萨诸塞州波士顿、劳伦斯和伍斯特的社区组织中建立能力,以采用循证健康促进项目;而且
公共卫生智能手机应用程序这是一项移动健康研究,促进了参与性(如调查)和被动数据(如地理位置和网络浏览行为)的收集,以了解个人建筑环境中烟草信息的暴露情况。通过我们的工作,我们为研究人员总结了五个关键原则,旨在为服务不足的群体设计电子健康干预措施。具体如下:制定解决通信不平等问题的战略路线图(即,确定服务不足群体面临的障碍并为每个群体定制具体解决方案的具体行动计划),从一开始就让多个利益攸关方长期参与,设计时考虑到可用性-可读性和可通航性,在电子卫生干预措施中建立隐私保障,并简单地传达隐私-效用权衡,并努力在开放科学的愿望和保护服务不足的群体之间取得最佳平衡。
电子健康
移动健康
沟通的不平等
健康差异
卫生信息学
移动电话
背景
在过去十年中,通信技术的突破为研究人员带来了大量的机会,可以利用不同形式的数字技术来弥合健康差距。随着电脑、笔记本电脑和智能手机等数字工具的普遍使用,以及网络基础设施的最新进展,人们可以高效地大规模存储和分析大数据,研究人员已经试点并设计了门户网站,专门帮助不同人群查找健康信息。
1,
2],鼓励使用患者门户进行医疗保健管理[
3.],并开发了智能手机应用程序和可穿戴设备,以改善健康监测[
4].
电子保健对扩大不平等的干预
尽管通信革命带来了好处,但电子卫生干预研究的一个主要批评是,数字设备的引入并没有缩小贫富差距,而是复制和加强了现有的卫生不平等社会结构[
5-
8].例如,研究表明,在美国,与白人和非西班牙裔个人相比,黑人和西班牙裔个人被其医疗保健提供者提供访问基于网络的个人健康信息门户的可能性要小得多,他们也不太可能使用个人健康信息,即使获得了访问权限[
9].尽管人工智能算法和电子健康记录(EHRs)的结合有望使临床医生预测医院再入院率和死亡率[
10],而社会经济地位较低的人士若因多次错过预约而未能将健康纪录记录在电子健康档案内,未必能从中受益[
11].在某些情况下,来自较低社会经济群体的人寻求治疗的地方可能没有配备电子病历。即使来自较低社会经济群体的人能够获得数字健康技术,他们也可能无法负担使用服务或保持稳定互联网连接所需的经常性费用[
12].即使获得这些技术不是问题,但服务不足的群体可能会发现难以驾驭不同数字健康技术的复杂平台[
13].
除财务和技术因素外,研究表明,电子卫生干预措施面临的另一个重大挑战是人们的社交网络缺乏集体使用和采纳[
6].一个明显的例子是当前的COVID-19大流行,在实施和利用接触追踪应用程序数据方面的一个主要挑战是普通人群使用率低[
14].当受疫情打击最严重的边缘社区和有色人种对技术仍持怀疑态度时,问题就变得更加复杂了,因为他们曾被国家监控不公地作为目标,或者对这些数字来源产生的大量错误信息和虚假信息持警惕态度[[
15,
16].
在当今世界,当来自服务不足群体的个人不使用为他们设计的数字设备并被系统地排除在外时,从电子健康干预措施收集的数据可用于了解健康行为,这导致了一个更大的问题,称为
数据旷工-卫生系统中服务不足群体的数据缺失-在这些数据集上训练机器学习模型时,会导致不准确和偏见的持续存在[
17].
需要解决电子卫生干预中的不平等问题
为了创造公平的竞争环境,确保电子卫生干预措施使服务不足的群体受益,研究人员和公共卫生组织必须注意导致这种现象的潜在机制
沟通的不平等.传播不平等是指社会群体在获取、使用和处理媒体和传播技术信息方面的结构性、人际性和个体差异,它们在社会决定因素和健康结果之间起到中介作用[
18].因此,尽管投资于电子卫生干预措施的可用性很重要,但至关重要的是,公共卫生学者应超越技术考虑,研究外部、社会和个人背景如何协同和集体地影响电子卫生干预措施的成功[
17].毕竟,数十年的公共卫生研究强烈呼吁,有必要让个人、社会网络、更广泛的社区和锚定机构(如医院和社区卫生保健组织)参与实施健康促进计划[
19,
20.].本文的目的是展示和借鉴我们十多年来在服务不足群体中实施不同电子卫生干预措施的研究经验。
解决沟通不平等的框架:结构影响模型
我们的工作重点是审查信息和技术,这些信息和技术可以帮助弥合不同社会群体之间不平等的健康结果,主要指导原则是传播的结构性影响模型(
图1),阐述了沟通不平等如何调节社会决定因素与沟通和健康结果之间的关系[
18,
21].该框架假定,使用电子卫生干预措施可对健康产生直接和间接影响,并可能扩大不同社会、种族或族裔群体之间的差距。该框架的核心是传播不平等的概念,其定义是由于人们在如何访问、使用和处理来自数字媒体平台的信息方面存在差异而导致的对通信技术的不平等获取和使用,这扩大了现有的健康差距[
7,
17,
22].换句话说,基本的假设是,谁拥有从通信技术中获取、使用和处理信息的能力以及认知、社会和财务资源(通常是收入和教育程度较高的人),谁就最有可能受益,而服务不足的群体,即使他们有机会使用这些平台,也很少能获得承诺的收益,尽管他们往往是此类干预的目标受众[
23].
修正的结构影响模型。
尽管健康差距是一个严峻的现实,但令人欣慰的是,沟通不平等最终会导致疾病
可修改的与社会决定因素相比,学术机构、公共卫生组织或政府机构更容易解决的条件。为了有效,电子保健干预措施的设计应考虑到可能削弱通信技术的吸收和使用的更广泛的背景。
在个人层面,研究表明,与经济状况较好的群体相比,服务不足的群体在采用电子卫生干预措施方面面临的经济、社会和技术障碍要多得多[
24].一项关于采用基于web的患者门户网站的研究发现,尽管参与者有机会注册基于web的患者门户网站,但只有22%的健康知识有限的患者注册了该账户。与具备适当卫生知识普及技能的成年人的73%相比,这一比例较低[
25].这种模式也与种族差异相一致,少数群体不使用这些电子健康干预措施的几率更高[
26].除个人因素外,个人的社会网络、社区医院类型和社区组织(cbo)等外部因素在促进卫生素养方面发挥着至关重要的作用[
27-
32].因此,深入了解cbo和服务不足群体的社会网络将具有战略意义,因为他们将有经验确定最适合服务不足人群需求的干预类型,以及那些根本不起作用的干预类型[
33,
34].如果没有社区的投入,电子卫生干预措施的设计者可能会陷入拥有的陷阱
寻找问题的解决方案(
35并强迫在社区根本不起作用的创新。
本文的其余部分将说明从Viswanath实验室的三个标志性项目中学到的主要经验教训。第一个项目名为“点击连接”(C2C),这是一项基于社区的电子卫生干预措施,旨在通过提供高速互联网、计算机和互联网培训课程的家庭接入,以及提供持续技术支持的专用卫生门户,提高服务不足群体的互联网技能和健康素养。第二个项目是PLANET MassCONECT,这是一个知识转化项目,旨在为马萨诸塞州波士顿、劳伦斯和伍斯特的CBOs建立能力,以采用循证健康促进项目。最后,第三个项目是公共卫生智能手机应用程序项目(SNAP),这是一项移动健康研究,收集了参与性(如调查)和被动数据(如地理位置和网络浏览行为),目的是了解烟草信息在个人建筑环境中的暴露情况。
我们从这三个项目中总结了针对服务不足群体的电子健康干预研究的五个关键原则:(1)制定解决通信不平等问题的战略路线图(即,确定服务不足群体面临的障碍并为每个群体定制具体解决方案的具体行动计划),(2)从一开始就让多个利益攸关方参与长期工作,(3)设计时考虑到可用性-可读性和可导航性,(4)在电子卫生干预措施中建立隐私保障,并简单地传达隐私-效用权衡,(5)努力在开放科学愿望和保护服务不足群体之间取得最佳平衡。我们还提出了制定电子保健干预措施的多层次战略,卫生组织可以在与服务不足群体的工作中利用这些措施。
项目一:C2C
项目C2C是一项随机对照试验,旨在提高社会经济地位较低人群的电子卫生素养。为了实现赋权于低SEP人群的目标,利用基于web的健康门户网站来寻求信息和获得健康知识,我们设计了一个干预措施,包括:(1)开发基于web的健康门户网站(
图2)从头开始,为新手或经验不足的用户定制,以便轻松导航和访问互联网,特别是健康信息;(2)购买及提供电脑及宽频互联网接驳服务,供学员在整个学习期间使用;(3)培训课程,向参与者传授数字技能,如如何使用电脑和互联网;(4)如果参与者对健康门户网站或连接问题有任何疑问,将提供持续的技术支持[
34].从2007年到2009年,该试验分三波进行,每波参与者在波士顿的社区大学参加9个月的培训课程。随机分配到对照组的参与者在研究结束时收到健康信息。参与者是从位于马萨诸塞州大波士顿地区的成人教育中心招募的。
36].
基于web的“单击连接”健康门户的屏幕截图。
研究人员通常没有做出足够的努力,以达到服务不足的人群的刻板印象,他们是
难以触及.我们收养了一个
积极主动的方法,包括安排与社区领袖和组织面对面接触,以及在社区举行招聘介绍和会议[
37].总的来说,从2007年5月到2009年10月,我们在大波士顿地区的32个成人扫盲中心做了190场面对面的演讲。
项目2:星球massconnect
虽然C2C项目针对的是来自服务不足群体的个人,但PLANET MassCONECT项目是一个由美国国家癌症研究所资助的5年知识转化项目,旨在建立在位于美国马萨诸塞州三个城市(波士顿、劳伦斯和伍斯特)的不同CBOs群体中发现、适应和实施循证健康促进项目的能力[
38].换句话说,PLANET MassCONECT旨在通过创建一个网络来加强cbo,在这个网络中,组织可以与其他cbo、研究人员和社区成员合作,并提供培训和技术支持,使用定制的基于web的健康门户网站来查找相关的健康资源和数据,以实施基于证据的健康促进项目。培训结束时,cbo与其他cbo建立了一个网络,并鼓励他们申请小额赠款,以加强组织间合作,解决健康差异问题[
39].
这些目标是通过干预措施实现的,干预措施包括以下主要组成部分:(1)开发基于网络的卫生门户网站,其中包含卫生资源,包括循证干预措施、数据和干预措施资源;(2)为期两天的cbo能力建设讲习班;(3)提供培训手册、讲义和案例研究;(4)突出应用新知识的试点资助;(5)提供交流机会,促进学员相互支持的学习网络。
基于网络的健康门户网站(
图3)本来是要充当一个
一站式传播市场,其中将包含本地化的卫生资源,以帮助社区社区的卫生规划人员系统地在其社区实施循证干预措施。我们的项目参与者均为上述三个城市的cbo员工,如果他们符合以下标准[
39]:(1)年龄≥18岁,(2)在三个城市之一(波士顿、劳伦斯和伍斯特)的社区社区组织(即非营利或公共服务部门组织)工作,(3)积极参与社区社区组织的健康促进项目和工作。
PLANET massconnect健康门户网站截图。
项目三:SNAP
SNAP项目是一项基于智能手机的研究,由达纳-法伯癌症研究所、萨斯喀彻温大学和贝勒医学院合作开展,由真相倡议组织资助。这项研究的目的是利用智能手机收集数据的能力,既可以被动地(如收集地理位置、网页浏览和蓝牙数据)收集数据,也可以主动地(如促使受访者回答调查)收集数据,以测量来自服务不足群体的参与者在现实环境中接触烟草信息的情况。我们在萨斯喀彻温大学的合作者开发了一个智能手机应用程序叫做
出版该调查捕获了复杂、丰富的消息曝光数据,这些数据可以使用多个来源提供超出传统调查所能提供的信息。该应用程序捕获的数据包括:(1)以简短调查的形式对生态瞬时评估的回应,其中包括关于烟草产品的健康信息寻求、戒烟尝试、信息暴露和人际交流的问题;(2)环境中的支持或反对烟草信息的照片;(3)跟踪用户的网络浏览行为;(4)地理位置。
之所以选择这三个项目(从实验室的许多其他项目中),是因为它们都专注于不同形式的电子健康设备如何缩小健康差距。例如,C2C和PLANET MassCONECT研究了使用基于网络的健康门户网站促进健康信息搜索的有效性,而SNAP研究了使用智能手机应用程序捕获现场数据(例如,调查、地理位置和网页搜索浏览)的有效性,以了解外部和信息环境如何影响烟草消费。此外,这三个项目被选中是因为参与者类别的多样性。例如,C2C的基于网络的健康门户网站针对的是来自服务不足群体的个人,而PLANET MassCONECT的网站是为与服务不足群体合作的CBOs设计的,以寻找和提取数据,以促进基于证据的健康促进。与C2C和PLANET MassCONECT不同的是,SNAP使用基于智能手机的方法来检测低SEP的年轻人在环境中接触烟草信息的情况。
电子卫生干预的五项原则
我们在这些数字健康项目中与服务不足群体合作的经验使我们能够为有效的电子健康干预研究吸取教训。这些经验主要来自我们为每个项目进行的一系列焦点小组和电子卫生干预措施的可用性测试,以及来自社区合作伙伴的反馈。在这里,我们总结并提取了五个原则:(1)制定一个战略路线图来解决通信不平等,(2)从一开始就长期吸引多个利益相关者,(3)设计时考虑可用性,增强可读性和可通航性,(4)在电子卫生干预中建立隐私保护措施,并沟通隐私与效用之间的简单权衡,以及(5)努力在开放科学愿望和保护服务不足群体之间取得最佳平衡。
多媒体附件1总结每个项目的目标、目标群体、经验教训和原则。
原则1:制定解决沟通不平等问题的战略路线图
首先,最重要的教训之一是,研究团队必须有意识地制定一个战略路线图,详细说明减少不同形式的疾病造成的负担的具体方法
沟通的不平等甚至在设计电子健康干预措施之前。通信不平等的存在,对得不到充分服务的人口在利用电子保健干预措施的健康益处方面构成了重大障碍[
40].几十年的研究已经证明,即使在提供相同的技术或健康信息时,受益最多的是那些来自较高sep的人,而来自较低社会经济群体的人始终落在后面。这表明,无论技术多么复杂或前沿,电子卫生干预措施都不是灵丹妙药。相反,在不了解服务不足群体的更广泛背景的情况下,引入电子卫生干预措施将加剧不平等,并使社会经济地位较低的群体无法利用卫生技术。因此,如果不关注这些沟通不平等是什么,实施电子卫生干预可能会无意中扩大卫生不平等的差距。虽然战略路线图的想法本身并不新颖,但在与服务不足的人合作时,很少有人明确支持路线图的必要性[
7].因此,战略路线图应该包含哪些内容?我们重点介绍四个关键组成部分(
图4(1)制定全面的抽样策略;(2)确定所有形式的传播不平等,包括环境条件,并了解服务不足人群的数字媒体状况;(3)针对各种形式的沟通不平等提出解决方案;(4)缓解措施的优先次序和预算。
解决通信不平等问题的战略路线图。
首先,研究人员必须认识到这样一个事实,即服务不足的群体可能不愿参与研究,或面临参与研究的障碍。例如,那些来自少数民族的人可能会对参与实验持谨慎态度,因为过去的经验和剥削很差,例如在臭名昭著的塔斯基吉实验中,研究人员拒绝使用青霉素来治疗参与者的梅毒,尽管这种治疗方法已经广泛使用[
41].或者,来自当权者的歧视和恶劣待遇的日常经历可能会影响他们的研究经验。对此给出了几个原因,例如参与风险(例如,参与者可能不想认同研究人员对伤害的恐惧标签)和机会成本(例如,参与研究可能意味着更少的工作时间或参加医生的预约)[
42].为了解决这些问题,研究人员应该安排与社区领导人和组织面对面的接触,以及在社区举行招聘介绍和会议,在这些会议上,他们可以介绍研究的目标,阐明参与研究如何直接造福社区,并解决问题,让社区亲自了解研究人员。
其次,路线图应确定不同形式的沟通不平等。也许最明显的交流不平等的形式是
缺乏通道对于这些技术,无论是台式机、笔记本电脑、智能手机还是可穿戴设备[
43],此外还有其他因素,如识字水平、驾驭数字媒体的信心和效能。考虑到他们的经济拮据,要求服务不足群体的参与者从工资中拿出一部分来购买通讯设备几乎是不可想象的。尽管这在很大程度上是直观的,对于许多研究来自较低社会经济群体的城市或农村人来说,不太明显的是,服务不足的人群需要支付隐性成本来维持连接和使用设备。这被称为
连接维护费用,或经常性支出,这可能是指社会经济地位较低的人群为使用电子健康干预措施而需要支付的额外财务、时间和精力资源[
12,
17].例如,来自服务不足群体的人更可能在处理技术难题时遇到困难,并经历断断续续的互联网连接[
44].
在确定这些因素后,研究人员需要提出切实的解决方案来解决这些沟通不平等问题,并通过研究预算反映他们的承诺。对于C2C和SNAP,我们不仅提供了干预所需的实际设备(如计算机、门户网站和智能手机应用程序),还为参与者支付了宽带互联网接入费用,以确保他们不会面临间歇性连接问题,这将削弱干预的有效性。我们看到了一定程度的成功,特别是在我们的C2C项目中,我们发现,当提供互联网接入时,来自服务不足群体的参与者出于增加资本的目的而增加了对互联网的使用,例如寻求健康信息,这与批评者认为服务不足群体只会出于娱乐目的而使用互联网的假设相反[
45].
此外,除了识别
赤字在获取通信技术方面,研究团队和研究人员可以通过利用服务不足群体已经在使用的通信设备,而不是引入或强加可能会遭到怀疑的新形式的技术,创造性地设计电子健康干预措施。例如,研究团队可以设计出健康应用程序,实现同样的功能,但对参与者来说几乎没有成本,而不是要求参与者购买用于健康跟踪的可穿戴设备,这将超出他们的预算。出于这个原因,在我们的SNAP项目中,Ethica应用程序被重新设计,以允许我们的参与者参与参与性研究,追踪他们在外部和网络环境中接触烟草信息的情况,而无需任何费用。
原则2:从一开始就与多个利益相关者长期合作
在追求为服务不足的人群开发技术的过程中,诱惑是开发一种技术
弥赛亚情结他认为,电子健康干预措施在改善健康方面的成功和失败完全取决于研究人员或技术。多年来,我们在服务不足人群中工作的经验表明,如果在较低社会经济群体中采用单枪匹马的方法实施电子卫生干预措施,即使是资源充足的机构也可能无效。即使是大型的锚定机构,如医院,若要在其所在的社区作出可持续的改变,也需要与公共和私人组织合作。[
46],因为他们未必全面了解社区居民所面临的挑战。因此,我们提倡研究人员在设计技术时考虑参与式方法,从一开始就让不同的利益相关者参与进来。
我们发现,在开发和实施电子卫生干预措施时,从一开始就让多个利益攸关方参与进来是不可商量的。尽管研究人员可能拥有技术专长(例如,为移动电话解决方案开发门户网站和编程应用程序)和严格的社会科学理论训练,但他们不了解实施干预的背景条件。这种专业知识取决于社区中的用户和利益相关者。根据具体情况,可能对研究人员缺乏信任(即,服务不足的人群可能担心他们的数据可能被滥用),结果如何被使用的不确定性(即,对少数种族的分析),或缺乏关于纳入干预措施的好处的意识和教育[
47].因此,通过确定关键利益相关者并建立长期协同合作,研究人员可以从利益相关者在服务不足群体中的联系中受益,并提供与装备和增强利益相关者能力相关的科学专业知识。
那么,谁是关键的利益相关者,什么是吸引他们的最佳方式?有许多类型的组织和个人可以直接或间接地影响电子卫生干预措施的成败[
20.,
48].在这里,我们强调三个不同的群体:(1)cbo,(2)来自服务不足群体的个人,以及(3)他们的社交网络。cbo在服务不足的群体中发挥着重要的公共卫生功能。他们在与他们合作的社区中根深蒂固,因此会有更大的可信度[
49,
50],更好地掌握社区中个人面临的日常健康和财务挑战,并直观地了解哪种干预措施会起作用。对于个人而言,至关重要的是,研究人员开始认为我们电子健康干预的目标受众不是信息和帮助的被动接受者,而是他们所在社区的积极成员。除了接触特定的个人之外,至关重要的是让人们作为一个群体参与进来,因为研究表明,社会资本和人际沟通可以促进信息共享和信任,并在使用电子卫生干预时利用集体行动来培养社区意识[
27,
29].
对于PLANET MassCONECT,我们的策略是通过开发一个基于网络的健康门户网站来增加cbo的价值,该门户网站可以作为一站式商店,通过提取与cbo日常工作相关的公共健康数据。然而,我们希望以一种有机地培养学习文化的方式来这样做,这种文化将是可持续的,即使在我们规定的干预期之后也会继续。为此,我们有意组织了基于网络的门户培训,以促进不同cbo员工之间的社交网络和加强联系。工作人员除了在使用网络门户网站方面接受最新知识和培训,以加强工作外,最有价值的工作是建立一个传播专家网络[
39当项目结束时,他们可以互相依靠资源。
在SNAP项目中,我们试图通过推广来利用手机的普及
公民科学在我们的参与者中。公民科学是一种参与性方法,人们积极参与数据收集和知识转化[
51],而不是
主题他们的角色会更加被动。为了了解针对波士顿和休斯顿服务不足群体的不成比例的烟草广告的程度,我们授权我们的参与者在数据收集中扮演合作者的角色,他们将在8周的时间内拍摄他们在建筑环境中遇到的烟草信息。我们还监测了他们的社交互动,以及他们一起吸烟的频率,以及他们参与有关吸烟和戒烟尝试的对话的频率。
尽管我们提倡与多个利益相关者进行长期合作,但我们也注意到合作的缺点是,新关系的形成需要资源密集型,一些利益相关者最终可能无法履行其义务。为了避免这些问题,现有的实施科学和公共卫生研究主张有以下三个组成部分,以确保社区参与项目的长期可持续性:(1)制度化的参与,(2)对社区的投资,以及(3)知识生产和转让。
在电子卫生干预项目的背景下,尽管发展和管理与利益攸关方的关系可能具有挑战性,但通过正式协议和参与计划将不同利益攸关方的参与制度化的结构化和系统方法可以为支持此类合作提供一个支架。在正式协议之外,投资于卫生组织所服务的社区可以促进不同利益相关者之间的更大信任。这些目标可以通过在不同利益攸关方之间建设能力、提高数字技能、创建协作网络和共享资源以及增强个人权能来实现。这方面的一个例子可以是大型锚定组织(如社区中的大型医院)发挥带头作用并创建实践社区,其他卫生组织可以定期(如每年)聚集在一起,分享使用电子卫生干预措施解决健康差异及其挑战的最佳实践[
17].最后,应将从电子卫生干预项目中获得的知识转化为实际实践,在实际实践中,具有与服务不足群体合作经验的小型组织可以就什么方法有效以及在什么情况下有效提供背景见解。
原则3:设计时牢记可用性:增强可读性和可导航性
在为服务不足的群体进行电子医疗干预设计时,最困难的挑战之一是,除了解决与技术、设计甚至成本有关的问题外,公共卫生组织、研究人员和技术开发人员还需要了解技术在日常生活中对服务不足的人群的可用性。对于参与构建和利用通信技术的公共卫生研究人员来说,其中一个陷阱是隐含地相信,技术本身伴随着它收集的大数据,以及复杂的人工智能算法来分析它,将是解决差距带来的健康问题的灵丹妙药[
52].然而,我们的经验告诉我们,在一天结束的时候,可用性是技术采用的一个主要因素。
53].
当我们为C2C门户网站进行可用性测试时,我们发现可用性的一个经常被忽视的方面是
可读性所提供的信息。我们发现,尽管来自服务不足群体的个人对使用卫生门户网站表示有兴趣,但网站是主要障碍之一
可读性-内容是否容易被预期的参与者消化。参与者的读写能力很低,不懂网站各个页面上展示的一些语言,尽管这被认为是
简单的对于研究人员来说。很明显,要使门户网站干预起作用,语言需要简化到非常基本的水平,并且术语应该反映字面意义(例如,没有困难的单词或隐喻)。此外,即使我们提供了外部资源的链接,这些网站也应该针对文化水平低的受众进行策划。对内容和门户设计的关注,以可读性为优先级,是通过三种途径决定其成功的关键因素。首先,研究已经证实,当个人关注媒体内容时[
30.,
54,他们就更有可能获得知识。其次,研究表明,当人们关注通过互联网(即门户网站)传递的内容时,他们更有可能与他人进行人际讨论。
30.],最终导致获得健康知识,因为社交网络中的个人帮助理解和连接这些点。第三,网站可能会激发精细加工,即将新信息与个人的知识联系起来的行为,与知识的增长有关。
31].
研究人员应该注意的可用性的第二个方面是
适航性方面——从一个页面到另一个页面以查找信息或激活某些函数的便利性。在我们的C2C门户网站(
图2),我们特意将主导航面板设计为位于网页的左侧,而没有其他类似网站可能会看到的顶部面板。在最初的设计中,我们有一个顶部面板,其中链接到参与者的健康内容,左侧面板链接到外部网站,类似于现有的健康门户。然而,参与者对为什么有两个面板感到困惑,他们经常依赖于左边的面板栏,这只会把他们带到外部网站,他们错过了访问我们为他们准备的实际健康内容,这些内容只能从顶部的面板访问。为了实现简洁的外观并简化参与者的使用,我们将导航面板合并到门户的左侧。
在SNAP项目中,我们发现,在设计健康移动应用程序时,用清晰的视觉线索传达成功的导航至关重要,尽管这可能很简单。该应用程序的一个关键功能是允许参与者拍摄他们在日常生活中遇到的反烟草或支持烟草的信息(如广告牌、广告和商店),这使我们能够绘制出烟草信息的热点[
31].在早期版本的应用程序中,参与者在提交照片后需要手动返回应用程序的主页。然而,由于他们没有直接回到主页,他们对照片提交是否成功感到困惑。我们的应用程序的另一个关键功能是贪睡功能,允许参与者暂停应用程序的被动数据收集,如果他们想要隐私在任何时间点。然而,参与者并不清楚他们在按下止闹功能后是否成功暂停了数据收集,一些人去他们的手机设置手动禁用了应用程序的地理位置跟踪。在反馈后,我们设计了一个弹出式短信短信,清楚地强调在他们点击止闹功能后暂停了数据收集。
根据我们的经验,我们列出了以下具体步骤,供研究人员在低资源环境下实施电子卫生干预措施时考虑,以提高可读性和可通用性。首先,我们强烈建议,可用性测试会议的设计应明确获取数据,以了解来自服务不足群体的参与者理解通过数字设备管理的健康内容的容易程度,并要求他们就导航和使用它的容易程度(或困难程度)提供评论和反馈。第二,除了以传统的方式组织可用性会议
被动参与者简单地执行要求的任务的方式,研究人员可以采用
自言自语面谈程序[
55].大声思考访谈要求参与者参与某些任务:可以是阅读内容或浏览某些健康技术的功能,同时表达他们对任务是否容易或困难的想法,这些想法将被记录下来[
56].然后,对所有参与者的数据进行转录和定量分析。通过这种方式,可以系统地捕获和分析可读性和可通航性方面的差距,为研究人员提供应该进行重大更改的领域的经验见解。
原则4:在电子医疗干预措施中建立隐私保护措施,并简单地沟通隐私与公用事业之间的权衡
随着通过电子健康干预收集的数据越来越多,以及围绕隐私侵犯和数据泄露的公开丑闻,研究人员从一开始就与参与者进行隐私和道德对话至关重要。由于我们SNAP项目中使用的智能手机应用程序旨在收集参与者的高密度时空数据,从他们的网页搜索到地理位置和他们接触的社交网络,这些数据都是高度个人化的,我们的目标是在应用程序设计阶段就向参与者传达隐私保护措施。
有几个级别的隐私保护措施已经到位。在宏观层面上,该应用程序符合《通用数据保护条例》的要求[
52,
57],参加者有权查阅或删除他们的资料。此外,该应用程序被编程为在参与者的日常生活中被动收集数据,并带有一个止闹功能,如果他们出于任何原因想暂时停止数据收集,可以打开该功能。
虽然这些保障措施已经到位,但我们发现最大的差距是在隐私措施的沟通领域。在我们的可用性测试中,许多参与者不理解止闹按钮的功能,也不明白为什么需要它;事实上,许多人建议完全取消止闹功能。这突出了参与者和研究人员在处理隐私问题方面的差异,并向我们表明,一些参与者可能没有完全掌握数据隐私、保护、权利和所有权的概念,而我们作为电子健康干预研究人员已经习惯了这些概念。因此,我们建议研究人员通过焦点小组或可用性测试会议,有意地让来自服务不足群体的参与者参与设计隐私功能。这将使研究人员能够听到参与者的担忧。换句话说,研究人员应该在电子健康干预培训中专门拿出一部分来清楚地解释什么是隐私,为什么它对参与者很重要,收集什么数据,对他们的数据有什么权利,以及他们如何行使这些权利。
原则5:努力在开放科学抱负和保护服务不足群体之间取得最佳平衡
最后,在电子健康领域的干预,不可避免地需要研究者之间的对话进行努力
开放的科学保护从干预行动中使用的通信技术获得的大量数据。推动研究人员接受开放科学运动是最近才出现的现象,部分原因是大数据和人工智能研究的兴起[
58].赞成开放科学运动的研究人员旨在通过促进开放科学文化来促进跨研究机构和国家的协作网络
开放与出版物一起共享数据和算法。开放科学范式有许多优势,它解决了社会科学中的可复制性危机,使其他研究人员能够使用相同的数据和代码重现类似的结果,防止可疑的研究实践,如p黑客,并促进代码编写和分析的最佳实践,其他人可以看到并对数据准备和代码编写的最佳实践提出建设性的批评[
59].
对于许多研究人员来说,他们在电子卫生干预和在服务不足的人群(如我们)中促进健康之间的交叉领域工作,我们发现自己陷入了一个意识形态难题。作为社会科学家,我们渴望开放科学范式的严谨和协作文化;另一方面,我们有义务保护从服务不足群体收集的数据,因为我们知道,如果这些数据落入坏人之手,他们可能会受到进一步的惩罚。例如,我们可以跟踪C2C参与者访问的网站,尽管它们可能与项目没有直接关系。通过我们的SNAP项目,我们收集了颗粒级的数据,我们可以知道并绘制个人的网络浏览模式,知道他们去哪里(精确到特定的经纬度),并通过蓝牙数据获取他们与朋友的社交接触频率,当我们的参与者在给定的环境中物理上同时定位时,蓝牙数据提供了信息。如果恶意行为者或组织获得了这些数据,他们就可以利用从数据中获得的见解,而牺牲社会经济地位较低的人群的利益。
尽管我们作为一个社区仍在学习平衡这种紧张关系,但我们可以采取一些实际步骤来实现开放科学和数据保护之间的合理平衡。研究人员可以采取的最基本步骤是始终汇总数据,这样个人的敏感细节将保持较高的匿名性。对于我们的C2C干预,虽然我们可能会跟踪服务不足人群的网络浏览行为,但我们选择在家庭(即总体)层面收集数据,因为我们知道这种权衡将为我们的参与者提供额外的保护。至于在我们的SNAP研究中通过智能手机捕获的地理位置,尽管我们可以在最细粒度的水平上分析数据(例如,他们访问过的确切位置精确到秒),但我们将地理位置分解为10分钟的容器进行分析,这可能会使跟踪地理位置模式到特定个人变得更加困难。在聚合级别上分析数据使我们有信心在不损害参与者隐私的情况下展示敏感信息(例如热点地图)。
平衡开放科学和参与者隐私之间紧张关系的第二种实用方法是尽可能通过安全的远程数据存储和分析环境托管数据并对其进行分析,而不是将数据存储和分析在研究人员的办公室台式机或个人笔记本电脑中。这是良好数据卫生的一部分;毕竟,与安全的集群计算环境相比,个人台式机和笔记本电脑的安全性更有可能受到损害。例如,我们依靠哈佛大学定量社会科学研究所提供的远程计算环境来进行数据管理和分析我们的部分SNAP数据。除了大学的集群计算环境,研究人员可能会寻找值得信赖的涉及云计算的公司来管理他们的数据管理和分析管道。
第三,研究人员可以促进或参与
有选择性的开放这取决于他们的电子卫生干预措施的性质。对于我们在Planet MassCONECT与cbo的能力建设工作,数据和最佳实践的共享是在一个安全区域完成的,受众是来自不同cbo的工作人员,他们与服务不足的群体开展了类似的工作。因此,开放是在信任和熟悉的环境中实现的,在这种环境中,关于最佳实践的信息共享将使所有cbo受益。同时,通过只与社区投资的人共享数据和信息,它可以防止外部组织或个人访问敏感数据。
限制
我们注意到,虽然我们的目标是提供十年原则的综合,但有几个限制。首先,我们认识到,每个研究团队和组织与服务不足的群体合作都面临着独特的挑战,我们的一些建议可能并不直接适用。因此,对于研究团队来说,重要的是要敏锐地意识到他们自己的独特环境,只应用那些最相关的策略和原则。其次,由于我们的大部分工作都是在美国进行的,不同国家可能会有特定的文化障碍。例如,宿命论等文化世界观可能会进一步阻碍电子保健干预措施的采用,因为人们固有地认为,患者无法避免感染某些疾病[
29,
60].
拟议的原则如何补充电子卫生干预的现有知识
尽管存在局限性,但提出的原则将通过几种方式解决现有电子卫生干预研究中的知识差距。目前,在健康差异的背景下对电子健康干预措施的研究通常侧重于提高可用性设计[
61],找出改善采用的因素[
3.],以及数字卫生技术如何加剧不平等[
6].我们在几个方面建立在现有的电子健康干预知识的基础上。首先,我们认为,电子健康干预措施的成功超越了可用性和界面问题,研究人员和技术开发人员需要关注影响数字健康技术最终采用和使用的更广泛的背景。其次,我们强烈主张,从长远来看,需要多个利益攸关方接受和支持电子卫生干预措施,以便对服务不足群体的健康产生切实影响。这将涉及在资源不足的社区医生之间建立网络和技术能力,使他们能够在日常工作中有效利用电子卫生干预措施。最后,我们强调研究界需要保持透明,并从一开始就与参与者共同解决隐私问题,以平衡开放科学的好处,并保护接受这些技术使用的社区的数据。未来的研究可以通过研究更广泛的背景因素来扩展我们的研究,这些因素促进或阻碍卫生研究人员使用案例研究方法使用电子健康干预措施[
62].这将使研究人员能够全面了解组织在电子卫生干预研究中面临的具体机会和限制。此外,未来的学者可以进行纵向实地实验,以确定电子卫生干预措施在解决长期健康差异方面的有效性,以及系统地研究隐私问题的开放性和透明度如何提高服务不足群体对电子卫生干预措施的信任和采用。
结论
在服务不足的群体中参与电子卫生干预措施的开发和实施,从来没有比现在更令人兴奋的时候。随着大数据平台和人工智能的进步,我们有很多机会利用技术和数据来改善服务不足人群的健康状况。
17].然而,技术设计和数据分析方面是大图景方案中的小难题。成功实施电子卫生干预措施最终取决于研究人员对技术接受的障碍和促进因素的理解程度。除此之外,研究人员还需要了解服务不足人群的数字媒体格局,引导和掌握社会文化规范,并让组织、社区和个人在同一页面上通过技术解决健康差距问题。
Viswanath实验室电子保健干预项目摘要。
缩写
C2C
点击连接
国会预算办公室
以社区为基础的组织
电子健康档案
电子健康记录
9月
社会经济地位
提前
公共卫生智能手机应用程序
没有宣布。
[
沟
门将
Muirhead
l
兰登
DW
青少年健康信息网站的可用性:系统综述、神经发育模型和设计简介
]
[
田中
R
巴纳吉
一个
Surikova
J
特蕾西
J
佩恩
一个
罗斯
H
诺兰
R
一个为患有心血管疾病的成年人主持的电子论坛:可用性研究
]
[
格罗斯曼
l
分子
RM
Benda
数控
莱特
D
Vawdrey
DK
Ancker
JS
在弱势人群中增加患者门户使用的干预措施:一项系统综述
]
[
西蒙斯
D
De Bourdeaudhuij
我
鼠尾草属的植物
P
De溺爱
K
Vandelanotte
C
Deforche
B
一个智能手机应用程序,以促进低教育程度的工作年轻人积极的生活方式:开发,可用性,可接受性和可行性研究
]
[
Torous
J
罗德里格斯
J
鲍威尔
一个
数字生物标记的新数字鸿沟
]
[
Veinot
T
米切尔
H
Ancker
JS
良好的意图是不够的:信息学干预会加剧不平等
]
[
Viswanath
K
汤姆森
通用电气
米切尔
F
威廉姆斯
MB
公共传播及其在减少和消除健康差距方面的作用
]
[
维斯
D
Rydland
HT
Øversveen
E
詹森
先生
Solhaug
年代
Krokstad
年代
创新技术与卫生领域的社会不平等:文献范围综述
]
[
孔雀
年代
Reddy
一个
Leveille
SG
沃克
J
佩恩
TH
奥斯特
NV
爱尔摩
詹
患者门户和在线个人健康信息:美国成年人的感知、访问和使用
]
[
Rajkomar
一个
奥伦
E
陈
K
戴
我
Hajaj
NgydF4y2Ba
哈特
米
刘
PJ
刘
X
马库斯
J
太阳
米
桑德博格
P
绮
H
张
K
张
Y
弗洛勒斯
G
达根
通用电气
欧文
J
勒
问
Litsch
K
Mossin
一个
Tansuwan
J
王
D
Wexler
J
威尔逊
J
路德维希
D
Volchenboum
SL
周
K
皮尔森
米
Madabushi
年代
沙阿
NH
孤峰
AJ
豪厄尔
医学博士
崔
C
柯拉
GS
迪安
J
可扩展和精确的深度学习与电子健康记录
]
[
张
X
Perez-Stable
EJ
伯恩
体育
Peprah
E
Duru
好吧
布林
NgydF4y2Ba
Berrigan
D
木
F
杰克逊
JS
黄
DW
丹尼
J
大数据科学:解决21世纪少数群体健康和健康差距的机遇和挑战
]
[
Viswanath
K
纳格尔
RH
Bigman-Galimore
CA
麦考利
国会议员
荣格
米
Ramanadhan
年代
21世纪的通信革命和健康不平等:对癌症控制的影响
]
[
安东尼奥
米
Petrovskaya
奥尔加
刘
弗朗西斯
对患者门户的研究是否与卫生公平相协调?范围回顾
]
[
Sim卡
D
Lim
K
冠状病毒:为什么新加坡居民不使用TraceTogether接触追踪应用程序?
]
[
Schaefer
去
巴兰坦
一个
下载COVID-19接触者追踪应用程序是一种道德义务
]
[
Viswanath
K
李
电子战
Pinnamaneni
R
在COVID-19传播中,我们需要公平的视角
]
[
李
电子战
Viswanath
K
背景下的大数据:在健康差异研究的背景下解决数据缺勤和沙文主义的双重危险
]
[
Kontos
易之
埃蒙斯
公里
Puleo
E
Viswanath
K
美国成人社交网站使用的交流不平等和公共卫生影响
]
[
的一部分
基米-雷克南
Bibeau
D
Steckler
一个
Glanz
K
健康促进计划的生态学视角
]
[
莫兰
MB
弗兰克
磅
赵
NgydF4y2Ba
冈萨雷斯
C
Thainiyom
P
墨菲
圣
Ball-Rokeach
SJ
健康传播生态学研究与干预的一个论点
]
[
Viswanath
K
McCloud
射频
Bekalu
妈
汤普森
TL
哈林顿
NG
沟通、健康与公平:结构性影响
]
[
McCloud
射频
奥
CA
索伦森
G
Viswanath
K
超越获取:在城市穷人中寻求互联网卫生信息的障碍
]
[
Viswanath
K
Kreuter如此说道
兆瓦
健康差异、沟通不平等和电子健康
]
[
冈萨雷斯
艾尔
美国低收入城市社区使用手机的健康益处和障碍:技术维护的迹象
]
[
史密斯
SG
O 'Conor
R
艾特肯
W
柯蒂斯
LM
狼
女士
戈埃尔
女士
老年人在线患者门户的注册和使用差异:来自LitCog队列的发现
]
[
Sarkar
U
小型赛车
AJ
刘
司法院
阿德勒
不
阮
R
洛佩兹
一个
书评
D
糖尿病患者使用互联网门户网站的社会差异:数字鸿沟超出访问范围的证据
]
[
Ackerson
路
Viswanath
K
人际交往与健康的社会背景
]
[
de Souza
R
创建“交流空间”:以非政府组织艾滋病预防社区组织为例
]
[
李
电子战
何
党卫军
周润发
JK
吴
YY
杨
Z
沟通和知识作为激励因素:了解新加坡女性对乳腺癌风险的认知,以及采取预防措施的意愿
]
[
李
电子战
胫骨
米
Kawaja
一个
何
党卫军
增强认知中介模型:在新加坡女性中检验事实性和结构性乳腺癌知识的前因
]
[
李
电子战
何
党卫军
与乳腺癌保持同步:研究沟通和动机与新加坡女性乳腺癌知识的关系
]
[
Ramanadhan
年代
“Vish Viswanath
K
参与社区以改善健康:模型、证据和参与性知识转化(PaKT)框架
]
[
McCloud
射频
Bekalu
妈
马多克斯
NgydF4y2Ba
明斯基
SJ
Viswanath
K
利用广度和深度:描述人口多样性的策略,以解决DF/HCC集水区的癌症差异
]
[
Viswanath
K
McCloud
瑞秋
明斯基
莎拉
Puleo
伊莱恩
Kontos
艾米丽
Bigman-Galimore
卡布拉尔
陆克文
裂缝
埃蒙斯
Karen M
互联网使用、浏览和城市穷人:对癌症控制的影响
]
[
Piwek
l
埃利斯
达
安德鲁斯
年代
Joinson
一个
消费者健康可穿戴设备的崛起:承诺与障碍
]
[
Bekalu
妈
明斯基
年代
Viswanath
K
低社会经济人群中吸烟相关肺癌风险的信念:吸烟经验和人际交流的作用
]
[
纳格尔
RH
Ramanadhan
年代
明斯基
年代
Viswanath
K
社会经济地位低人群的社区电子卫生干预措施的招募和保留:战略和挑战
]
[
Ramanadhan
年代
门德斯
老
饶
米
Viswanath
K
开展健康促进的社区组织对社交媒体的使用:内容分析
]
[
Ramanadhan
年代
明斯基
年代
Martinez-Dominguez
V
Viswanath
K
建立从业人员网络,以支持在社区环境中传播和实施循证方案
]
[
Viswanath
K
Ramanadhan
年代
Kontos
易之
最低潮
年代
大众媒体
]
[
塔斯基吉的美国公共卫生服务梅毒研究:塔斯基吉时间线
]
[
Ellard-Gray
一个
杰弗里
NK
Choubak
米
Crann
SE
寻找隐藏的参与者
]
[
格兰哈
C
詹森
W
约翰森
妈
决定电子健康干预成功和失败的因素:文献的系统回顾
]
[
冈萨雷斯
艾尔
Ems
l
苏瑞
虚拟现实
从技术维护的角度来看,手机断网会破坏对医疗保健和健康资源的访问
]
[
McCloud
射频
奥
CA
索伦森
G
Viswanath
K
娱乐还是健康?探索城市贫困人口的互联网使用模式:随机对照试验的二次分析
]
[
Vize
R
医院作为支柱机构:NHS如何超越医疗保健来支持社区
]
[
Bonevski
B
Randell
米
保罗
C
查普曼
K
Twyman
l
布赖恩特
J
Brozek
我
休斯
C
触及难以触及的人群:对改善社会弱势群体健康和医学研究战略的系统回顾
]
[
李
电子战
郑
H
昂
HH
Seidmann
V
李
C
Aroor
先生
伦
莫
何
党卫军
按照推动
Y
研究与工作场所安全和健康相关的组织、文化和个人层面的因素:系统回顾和度量分析
]
[
Ramanadhan
年代
佩罗
J
Alexander-Molloy
J
Gandelman
E
古隆
米
罗拉
V
里夫斯
C
野蛮人
C
PLANET MassCONECT C-PAC
Viswanath
K
以社区为基础的组织处理健康差异的循证方案的看法:一项定性研究
]
[
史蒂芬斯
乐
裂缝的
RN
植物区系
晶澳
扩大保健运动的范围:社区组织作为传播保健信息的元渠道
]
[
Katapally
TR
Bhawra
J
Leatherdale
圣
弗格森
l
隆戈
J
雷纳姆
D
Larouche
R
奥斯古德
NgydF4y2Ba
智能研究,一个用于积极生活监测、综合知识翻译和政策干预的移动健康和公民科学方法平台:纵向研究
]
[
李
电子战
绮
阿兹
数字健康传播研究中的数据意义:为什么理论在大数据时代很重要
]
[
Portz
JD
贝利斯
EA
牛
年代
拳击手
RS
Bekelman
DB
格里森
K
Czaja
年代
使用技术接受模型来探索有多种慢性疾病的老年人患者门户的用户体验、使用意图和使用行为:描述性定性研究
]
[
杨
X
Chuah
作为
李
电子战
何
党卫军
扩展认知中介模型:检查与感知熟悉度和纳米技术实际知识相关的因素
]
[
李
电子战
Bekalu
妈
McCloud
R
Vallone
D
Arya
米
奥斯古德
NgydF4y2Ba
李
X
明斯基
年代
Viswanath
K
智能手机应用程序在服务不足社区中告知原烟和反烟草信息传递工作的潜力:纵向观察研究
]
[
咀嚼
年代
赖
PS
Ng
CJ
一个移动应用程序的可用性和效用,以提高马来西亚门诊护理患者的药物依从性:定性研究
]
[
Eveland
WP
邓伍迪
年代
使用自言自语协议研究万维网上的信息处理
]
[
Ethica是否符合GDPR ?
]
[
Magalhaes
J
哈氏
Z
安图内斯
一个
马丁斯
医学博士
大数据时代的开放科学和全球卫生创新概述
]
[
Dienlin
T
约翰内斯
NgydF4y2Ba
鲍曼
ND
Masur
PK
Engesser
年代
Kumpel
作为
Lukito
J
棺材
LM
张
R
约翰逊
汉堡王
Huskey
R
施耐德
调频
布鲁尔
J
帕里
达
Vermeulen
我
费雪
J
银行
J
韦伯
R
埃利斯
达
史密特
T
象牙
JD
Trepte
年代
麦克尤恩
B
林可
新兴市场
Neubaum
G
冬天
年代
卡彭特
CJ
克莱默
NgydF4y2Ba
伍兹
年代
Unkel
J
王
X
戴维森
BI
金
NgydF4y2Ba
黄ydF4y2Ba
作为
Domahidi
E
刘易斯
NA
de Vreese
C
传播领域开放科学议程
]
[
梁
D
周润发
T
黄
E
中国老年人癌症相关信息搜寻和扫描行为:宿命论信仰和恐惧的作用研究
]
[
Vermeulen
J
Neyens
J
Spreeuwenberg
米
van Rossum
E
Sipers
W
Habets
H
休森
D
德威特
l
开发和测试以用户为中心的监测系统,为老年人提供有关身体功能的反馈
]