发表在6卷, No . 2(2020): Jul-Dec

本文的预印本(早期版本)可在https://preprints.www.mybigtv.com/preprint/19871,首次出版
评价基于网络的初级保健ADHD意识训练:嵌套访谈的随机对照试验

评价基于网络的初级保健ADHD意识训练:嵌套访谈的随机对照试验

评价基于网络的初级保健ADHD意识训练:嵌套访谈的随机对照试验

原始论文

1英国诺丁汉大学医学院心理健康研究所

2英国诺丁汉大学医学院精神病学与应用心理学系

通讯作者:

大卫·戴利博士

精神病学与应用心理学系

诺丁汉大学

胜利之路

欢乐的校园

诺丁汉

联合王国

电话:44 01158230261

电子邮件:david.daley@nottingham.ac.uk


背景:注意缺陷/多动障碍(ADHD)是一种影响多达5%儿童和成人的神经发育障碍。未经诊断和治疗的多动症会对受影响的个体造成长期的健康、教育和社会影响。因此,尽早发现这种疾病是很重要的。全科医生经常在获得负责诊断和治疗的专家服务方面发挥守门人的作用。研究表明,他们缺乏对多动症的知识和理解,这可能会给护理带来障碍。

摘要目的:本试点随机对照试验评估了为全科医生量身定制的基于网络的ADHD心理教育项目的效果。

方法:221名参与者随机分为假干预对照组和意识训练干预组,分别在干预前、干预后和2周随访3个时间点完成ADHD知识、信心和态度问卷调查。干预组的参与者在干预后3至6个月被邀请参加调查和随访访谈。

结果:109名全科医生的回复被纳入分析。知识(P<.001)和置信度(P<.001),而误解则减少(P= .04点);这在2周的随访中保持不变(知识,P<措施;信心,P<措施;误解,P = 03)。访谈和调查也证实了实践随着时间的推移而发生的变化。

结论:这些发现表明,一个简短的基于网络的干预可以增加全科医生对多动症的理解、态度和实践,潜在地改善患者获得护理的机会。

试验注册:国际标准随机对照试验号ISRCTN45400501;http://www.isrctn.com/ISRCTN45400501。

中华医学杂志,2020;6(2):e19871

doi: 10.2196/19871

关键字



背景

注意缺陷/多动障碍(ADHD)是一种神经发育障碍,影响多达5%的儿童和成人[1].ADHD患者所经历的症状会导致相当大的行为和认知障碍[23.].在成年期,与未确诊和未治疗的多动症相关的风险,如人际关系或就业困难,可能严重影响个人的心理健康,并导致经济和社会负担。4].获得ADHD的诊断对于获得适当的治疗和减少ADHD的长期影响是很重要的。然而,在许多国家,ADHD未得到充分诊断和治疗[5-7].例如,在英国,数据显示ADHD未被充分诊断和治疗,有0.73%的儿童和0.06%的成年人接受ADHD药物治疗[8].

在英国,全科医生(gp)经常充当诊断和治疗的专业服务的看门人。全科医生并不总是很容易识别多动症的症状,许多人报告说对这种疾病缺乏信心,知识有限,并且有很强的误解[9-11].这是ADHD患者获得治疗的主要障碍[10].因此,制定旨在增加全科医生的知识和信心的干预措施至关重要。

英国的全科医生需要参加持续专业发展(CPD),以跟上医学知识和实践变化的步伐。尽管许多培训包和项目正在不断开发,以提高全科医生的医疗技能[12-16],据我们所知,目前还没有针对多动症的网络项目。一些已发表的证据表明,针对特定主题的初级保健培训可以改善患者护理[151718];临床结果[17];全科医生的知识、信心和态度[19-21],强调了针对多动症的一揽子教育计划的潜在好处。

人们认为全科医生参加和参与培训的一个障碍可能是必须长途跋涉才能参加培训课程,这对于在偏远社区服务的全科医生来说可能尤其沉重[22].网络培训的发展可能有助于减少这一障碍,为全科医生提供方便的培训时间和地点,以适应他们繁忙的日程安排。近年来,医疗专业人员使用网络培训的人数大幅增加[23-25].基于网络的培训是一种有效的交付模式,最近的一项审查表明,基于网络的继续医学教育可以提高知识并改变全科医生的实践[22].据我们所知,目前还没有针对全科医生开发的基于网络的ADHD心理教育项目的研究发表,也缺乏针对全科医生的ADHD培训项目效果的数据。

目标

本研究提出了一种基于网络的对全科医生多动症干预的评估。基于网络的干预是由研究人员按照严格的开发过程开发的,其可用性先前已经过评估[26].按照医学研究理事会关于制定和评价复杂干预措施的建议[27],本研究的目的是获得的影响的初步发现在初级保健中理解ADHD基于网络的关于全科医生ADHD知识、态度、误解和实践改变的项目,以确定未来是否应该进行明确的随机对照试验(RCT)。通过定性访谈和干预后调查获得全科医生参与者对干预的意见和对实践的感知影响。


研究设计

在初级保健中理解ADHD试验是一项在国际标准随机对照试验号(ISRCTN)注册中心(ISRCTN45400501)注册的试点随机对照试验,采用嵌套定性访谈。这项平行组单盲随机对照试验于2019年8月至11月在英格兰的初级保健服务中进行。这些访谈是在2019年12月至2020年3月的干预之后进行的。该研究获得了诺丁汉大学医学与健康科学学院研究伦理委员会的伦理批准(参考文献:19/HRA/1028;2019年2月20日)和诺丁汉郡医疗保健国家卫生服务(NHS)基金会信托研究与开发部门(项目ID 257567)。

参与者

全科医生和全科医生实习生是从英国各地的多个地点招募的,他们对当地临床研究网络(crn)通过他们的实践发出的邀请邮件做出回应。在15个英语crn中,共有12个向数百个实践机构分发了研究邀请。然后,感兴趣的全科医生将研究细节分发给他们的全科医生和学员,并指示他们联系首席研究员,表达对这项研究的兴趣。包括在英国执业的全科医生和全科医生实习生;唯一的排除标准是参加过之前的可用性研究。表示有兴趣的参与者会收到一份基于网络的同意表格的链接。我们收到了代表英格兰大部分地区的多种兴趣表达,在两周内签署了231份同意书。不幸的是,我们不可能知道表达兴趣的确切数量;我们收到了500多封电子邮件,在与我们初步联系后,我们无法绘制出注册网站的地图。每位参与者在参加研究前都获得了书面知情同意书。 Participants from the control group were sent a link to the web-based course after taking part in the study. Participants from the intervention group were invited to participate in a short qualitative interview and survey after completion of the intervention. Participants received an inconvenience allowance for participating in the study.

干预

干预:了解ADHD的初级保健网络资源

基于web的非商业资源使用诺丁汉大学的服务器交付,并使用开源学习管理系统构建。French等人的研究报告了干预发展的更多细节[26].完整的网络资源包括两个20分钟的模块,按顺序进行。两个模块采用相同的格式,左侧是文字,右侧是互动活动。这些活动包括病人证词、拖放游戏、专家视频和图片。

网络资源的两个模块如下:

  • 模块1,称为理解ADHD,包括ADHD的异质性;ADHD流行病学和神经科学的简要描述;ADHD的症状、合并症、风险和常见的误解。
  • 模块2,全科医生的作用,介绍了全科医生在ADHD诊断和治疗途径中的作用;ADHD的识别和随后的治疗方案;全科医生的把关作用和英国的护理途径;以及ADHD工具包,包括可下载的筛查工具、策略或有用的网站[28].
控制web资源

被分配到假对照组的参与者观看了一段30分钟的网络视频,内容是关于诺丁汉大学心理健康研究所的。29].在这个视频中没有提供与多动症相关的信息。

在试验期间,干预或控制均未发生变化。

措施和结果

飞行员个随机对照试验
人口调查问卷

人口统计学变量的探索包括参与者的人口统计学对注意缺陷障碍知识量表(kadd)得分的影响。通过研究小组在基线(时间点1 [T1])编制的简短问卷记录参与者的人口统计数据。

主要的结果

主要结果是kadd评估的全科医生的知识发生了变化[30.问卷得分(T1至主要终点时间点2 [T2])。参与者的知识评估采用了kadd的改编版本和全科医生对ADHD问卷的理解[31].

KADDS问卷

这个包含39个项目的自我报告量表最初是为了衡量教师对ADHD的理解和知识而开发的[32].然而,分项问题不仅与教师有关,也与全科医生对ADHD的一般知识和理解有关。本次评估共使用了该问卷中的27个问题。

二次结果

在干预完成2周后(时间点3 [T3])重新评估知识的变化(通过kadd问卷评估)。对kadd问卷的各分量表也进行了分析。进一步的次要结果包括全科医生对ADHD的信心、全科医生对ADHD问卷的认知和可用性问卷。

全科医生对ADHD的信心

通过自评视觉模拟量表(1=低,10=高)评估全科医生对ADHD知识的信心,探讨信心的变化。

全科医生对ADHD问卷的认知

本问卷评估全科医生对ADHD的态度及其经历[31].一些问题被排除在外,因为它们与英国的医疗保健系统无关,或者与kadd提出的问题相似。本问卷共使用了13个问题,因为它们是专门为全科医生的经历量身定制的。

这些问卷在3个时间点在网上进行:基线(T1)、刚参加研究(T2)和完成研究后2周(T3)。T3的时间窗为2周(−3天或+10天)。在所有时间点,两组的问题都是一样的。

可用性调查问卷

干预组的参与者完成了2个视觉模拟量表,测试干预信息的有用性和可能对他们在T2时的练习产生的影响。

干预后访谈与调查

来自干预组的56名参与者同意在干预6个月后评估实践和方法的变化,并向他们发送了一份包含4个项目的开放式问卷。

次要结果还包括对ADHD态度的探索和长期自我报告的实践变化。通过半结构化访谈和简短调查来评估实践中的变化。访谈日程包括有关干预措施及其对全科医生的态度和做法的影响的问题。由于访谈的目的是衡量实践中的变化,因此注意到3个月的时间很短,无法有效地评估这一点。因此,在进行了11次访谈后,决定在干预后6个月进行剩余的12次访谈。

结果评估者和访谈者对分组分配没有盲目。

随机化

一旦招募,参与者在基线数据收集之前被随机分为干预组或对照组。随机化由第一作者发起,并通过随机化网站在网络上进行[33每批20个。由于研究的性质,参与者对研究臂一无所知,但一旦开始研究,他们可能就能猜出他们的手臂。

程序

研究的细节被发送给对当地crn的研究感兴趣的实践。希望参与的参与者签署了一份基于网络的同意书。在获得同意后,他们被随机分配到干预组或对照组。随机分组后,参与者被发送到他们所分配组的网络资源的链接。遵循链接后,两组被指导完成基线问卷(T1)。完成后,问卷末尾的外部链接将全科医生引导到他们分配的干预措施(即干预或控制)。干预结束后,两组均完成即时随访(T2)。研究人员每周通过电子邮件发送提醒,持续4周。干预后2周(T3)再次完成随访。干预的所有要素都是强制性的,参与者必须参与研究的所有阶段。 An inconvenience allowance and CPD certificate from the Royal College of GPs (RCGP) were attributed to the participants upon completion of the questionnaire at T3.

在参与后的3个月和6个月,被分配到干预组并同意再次联系的参与者被要求参加后续访谈。所有访谈原计划在3个月进行(10次访谈);然而,在注意到这个时间框架不够长后,其余的访谈(13个访谈)在6个月进行。回答的参与者在方便的时候通过电话接受了15分钟的采访。半结构化定性访谈是通过电话进行的。所有同意干预的56名参与者也在网上完成了一份简短的最终调查。

数据分析

数据准备
违反协议

完成前两份问卷的时间超过48小时的参与者被排除在分析之外,因为无法衡量分数的变化是由于干预还是外部因素造成的。没有完成所有时间点的参与者也被排除在完整分析之外,因为不可能进行意向治疗分析,因为随机化是在基线之前进行的。

kadd问卷产生了三种类型的回答:真正的,或不知道。这些回答分为三类:知识、误解和信心[32].

  • 知识包括正确答案的回答。如果参与者正确回答了问题,他们就会获得额外的知识点。
  • 误解包括错误的回答。如果参与者回答错误,那么他们的误解得分增加1分。
  • 信心包括不知道的回答。由于没有承诺给出答案,参与者的缺乏信心得分增加了1分。
干预分析策略

进行了初步检查,以确保没有违反正态性、线性、方差齐性和协变量可靠测量的假设。显著的Kolmogorov-Smirnov检验表明数据不是正态分布;因此,采用非参数检验。使用Mann-Whitney U和Kruskal-Wallis检验来探索试验组之间的人口统计学差异。使用Spearman相关来确定kadd与置信度评分之间的关系。在T2时,kadd问卷得分是主要终点;对自信的自我评价也进行了探讨;使用协方差分析(ANCOVA)对两个变量进行分析,其中T1作为协变量,因为ANCOVA对违反非参数假设的情况具有鲁棒性,其中中到大样本量大于每个单元15例[34].T3的结果也使用相同的分析方法进行了探讨。研究了kadd的总得分和子量表得分。

定性访谈分析与调查

本研究的分析策略基于主题分析[35]被扎根理论的原则所加强的[36].主题和副主题是使用布劳恩和克拉克的六阶段过程的改编方法确定的[20.].分析过程首先是在每次采访进行后不久逐字逐句地记录下来。在这个过程中,首席调查员首先熟悉访谈,并在日记中记下对访谈内容的初步想法。据此,在编码手册中确定了初步代码,然后通过在抄本内部和抄本之间进行不断的比较分析,对这些代码进行整理和合并,以分类为更广泛的主题。最后,随着分析的发展,对这些更广泛的主题进行了审查和改进,以产生提议的最后主题。正在进行的分析使我们能够明确界定最后的主题。

主题最后由第二位研究者(EV)审查,以确保它们映射到原始转录本。对文本主题的一小部分(5/ 23,20 %的访谈)进行了互译者信度测试。结果作为一个团队被集体验证,任何差异都被讨论和调和。调查结果是描述性的,并用于三角测量从访谈中得到的回答。


飞行员个随机对照试验

参与者于2019年7月10日至8月23日期间招募,并随访至2019年10月30日。当试验结束时,共有231名全科医生登记了他们对这项研究的兴趣并同意参加。共有10名全科医生不符合申请资格(图1),并没有被纳入试验。

图1所示。CONSORT(试验综合报告标准)试验随机对照试验流程图。共有18名参与者因未在时间点1(干预前)和时间点2(干预后)在48小时内完成问卷而被排除,4名参与者因在完成前收到干预链接而被排除在对照组。T1:时间点1;T2:时间点2;T3:时间点3。
查看此图

因此,221名参与者被随机分配,干预组111名,对照组110名。随机分组后,51名全科医生(干预组27名,对照组23名)没有回应开始研究的邀请。图1显示在每个点失去跟进的参与者人数。在回答基线问卷时,37名全科医生在T2(干预组17名,对照组20名)和2名全科医生在T3(干预组1名,对照组1名)未完成问卷后调查。培训生或完全合格全科医生170人(103/170,女性60.6%;6/170 (3.5% GP学员)完成T1, 133人完成T1和T2(84/133, 63.2%女性;5/133, 3.8% GP学员),131(82/131,62.6%女性;5/131 (3.8% GP学员)在所有3个时间点完成了评估。

共有22名参与者因违反协议而被排除在分析之外。共有18名参与者因完成问卷前和问卷后(T1和T2)的时间超过48小时而被排除在外,对照组的4名参与者在T2后被排除在外,因为他们无意中收到了T3前干预的链接。

图1显示两个试验组的招募人数都是偶数,并且不参与、退出和被排除的参与者的水平相当。

基线特征

研究组的基线特征总结于表1。参与者以女性居多(103/170,60.6%)。研究对象的年龄分布相当均匀,但大多数参与者的年龄在45岁以下。然而,实践年限的范围非常广泛。据估计,在他们的照料下,疑似患有多动症的儿童人数从0到100人不等。被诊断患有多动症的个体数量也有很大差异。参与者识别ADHD患者的次数也各不相同,大多数参与者报告说他们识别的患者不超过5个。当被问及注意力缺陷多动症是否是他们医疗培训的一部分时,大多数全科医生报告说不是。

表1。基线特征。
参与者 基线(n = 170)一个 纳入完整分析的参与者(n=109)一个

控制(n = 87) 干预(n = 83) 控制(n = 52) 干预(n = 57)
性别,n (%)

男性 29 (33) 38 (46) 15 (28) 27 (47)

58 (66) 45 (54) 37 (71) 30 (52)
年龄(年),n (%)

25 - 35 26日(30) 23日(28) 15 (29) 16 (28)

36-45 34 (39) 29 (35) 20 (38) 21 (37)

46-55 22 (25) 24 (29) 13 (25) 14 (25)

56 - 65 5 (5) 7 (8) 2 (8) 6 (10)
注意力缺陷多动症b部分全科医生培训,n (%)

是的 17 (19) 18 (21) 12 (23) 15 (26)

没有 57 (66) 52 (63) 34 (65) 35 (61)

不确定 5 (5) 4 (6) 2 (3.8) 1 (2)

教学的一小部分 8 (10) 8 (10) 4 (7.6) 6 (11)
估计每年在实践中看到的疑似ADHD儿童的数量

的意思是 14 19 11 16

范围 0 - 100 1 - 150 0 - 90 1 - 100
目前在实践中确诊为ADHD的个体

的意思是 43 67 39 57

范围 0 - 400 2 - 500 0 - 400 0 - 500
参与者患上ADHD的次数

的意思是 4.1 5.4 3.2 5.1

范围 0 30 0-50 0 30 0-50
医疗经验(年)

的意思是 15.1 16.5 14.7 15.9

范围 0-36 0-36 0-33 0-36

一个有些问题缺少一些数据。

bADHD:注意缺陷/多动障碍。

人口统计资料

参加者的人口统计资料载于多媒体附录1

研究互动

参与者被要求尽可能一次性完成评估;但是,如果需要,他们可以选择注销并返回。T1和T2之间超过48小时的参与者被排除在分析之外。对照组在1个疗程内完成T1和T2的参与者较多(41/ 52,78%),干预组在1个疗程内完成T1和T2的参与者较少(35/ 57,61%)。在1个疗程中完成T1和T2的患者中,观看对照视频的平均时间为39分钟(SD 20.79;在干预过程中花费的平均时间为55分钟(SD 13.5;28 - 125)范围。两组中的大多数参与者都与视频或干预进行了互动,这表明他们不确定自己的小组分配。

主要的结果

该干预的主要结果是T2时的kadd知识评分。表2说明了这些分数的反应和作为次要结果评估的kadd分数的反应。

表2。两组在3个不同时间点的注意缺陷障碍知识量表(kadd)知识、误解和信心得分的描述性统计。
KADDS知识一个 KADDS误解一个 KADDS信心一个 自我报告的信心一个
对照组平均值(SD)

T1b 16.82 (5.15) 1.82 (1.78) 7.15 (6.07) 4.40 (1.66)

T2c 17.23 (5.18) 2.05 (1.62) 6.64 (5.99) 4.57 (1.67)

T3d 17.13 (5.02) 2.24 (1.77) 6.69 (5.97) 4.88 (1.72)
干预组平均值(SD)

T1 16.65 (3.88) 2.16 (2.20) 7.12 (4.30) 4.66 (1.70)

T2 23.71 (2.00) 1.54 (1.55) 0.73 (1.35) 7.40 (1.05)

T3 22.96 (2.13) 1.70 (1.65) 1.22 (1.71) 7.36 (0.89)

注意缺陷障碍知识量表(kadd)的知识得分代表正确答案的数量,kadd误解得分代表错误答案的数量,kadd信心得分代表不知道答案的数量。

bT1:时间点1。

cT2:时间点2。

dT3:时间点3。

采用单因素组间方差分析(ANCOVA)来比较网络干预的有效性,该干预旨在改变全科医生对ADHD的态度。在控制了基线反应后,干预对ADHD知识的影响显著,干预组报告的ADHD知识显著增加。F1106年= 117.5,P<。001,偏平方=0.52。

此外,在2周的随访中保留了kadd问卷中增强的知识。F1106年= 96.25,P<。001,偏平方=0.47。

二次结果

ADHD知识,误解和信心

在控制了基线反应的差异后,与对照组相比,干预组的ADHD误解显著减少,F1106年= 4.20,P=。4,偏平方=0.03。

这种效果在两周的随访中保持不变,F1106年= 9.21,P=。3,偏平方=0.04。

干预后即刻(T2),干预组的自信心也较对照组显著增加:F1106年= 182.8,P<。001,偏平方=0.63。

这种增加的信心在两周的随访中保持不变:F1106年= 110.08,P<。001,偏平方=0.50。

因素分量表

最初的kadd问卷有3个子量表:相关特征(关于ADHD的性质、原因和预后的一般信息)、症状或诊断以及治疗。这些子量表旨在反映与诊断决策相关的内容领域。进一步探讨kadd知识得分在这些子量表上的结果。多媒体附录2给出对每个子量表的反应。

对于干预组的参与者,干预后T2和t3相关特征子量表的所有子量表得分均下降,T2:F1106年= 88,P<。001,偏平方=0.45,T3:F1106年= 69,P<。001,偏平方=0.39;症状/诊断量表T2:F1106年= 69.8,P<。001,偏平方=0.39,T3:F1106年= 57.9,P<。001,偏平方=0.35;治疗分量表T2:F1106年= 45,P<。001,偏平方=0.30,T3:F1106年= 45.9,P<。001,偏平方=0.30。

使用Spearman rho相关研究T1时k添加知识得分与自评自信之间的关系。两个变量之间存在较强的正相关,r=0.473, n=109,和P<。001,高水平的自我评价自信与多动症知识的高分相关。

干预组

在第2阶段,干预组的参与者被要求对2个反馈问题进行评分,这些问题涉及信息的有用性和告知实践的可能性,评分范围从1到10。结果表明,参与者发现信息是有用的(平均8.2,标准差1.48),并可能告知实践(平均7.8,标准差1.5)。

对待多动症的态度

在所有时间点都包括另一份关于全科医生对ADHD态度的问卷。这12个问题的描述性统计数据见多媒体附录3

这份问卷调查的结果表明,大多数全科医生不认同大多数常见的误解和与多动症的非科学联系。然而,在干预组参与者中可以观察到态度和这些误解的变化,而对照组参与者的得分在3个时间点上保持不变。干预组态度的轻微变化主要与以下陈述有关:

大多数患有多动症的孩子都试图控制自己。
父母将ADHD诊断作为孩子不良行为的借口。
ADHD的诊断可以减轻家庭的压力,帮助解决问题。
你认为多动症是社会对不良儿童的借口吗?

访谈及调查

总共有56名参与干预的参与者同意再次联系,并被邀请参加一个简短的定性访谈和一个简短的调查。共有23名参与者参加了访谈,其中21人回答了关于干预对其临床实践影响的简短调查。访谈的平均时间为10分30秒(范围6.43-15.45)。

参加第一波访谈(3个月)和第二波访谈(6个月)的全科医生的访谈结果没有差异。全科医生报告了在知识和实践方面的类似变化;然而,通过允许更多的时间,观察到对实践的更大影响(更多的全科医生报告),允许培训渗透到他们的实践中。

面试
干预措施反馈

所有参与者都认为干预的形式是翔实的、有用的和适当的。没有一个参与者认为有任何内容缺失。有几位嘉宾表示文字过多,内容可以更简洁。参与者主要受益于视频、成人信息和ADHD的遗传解释。与会者强调了解ADHD的流行病学和长期方面的好处,以及有专家和患者的视频来帮助了解ADHD的背景,特别是有ADHD的全科医生的视频。

参与者还被问及他们报名参加这项研究的原因。虽然金钱奖励和参与研究的要求被认为是激励因素,但主要的激励因素是对课题的专业/个人兴趣。大多数全科医生规定,他们签约的原因是对多动症的个人兴趣,通常承认他们之前缺乏这方面的知识和/或医学院的培训。

访谈强调了两个主要主题,都与干预的影响有关。第一个主题与干预对参与者的个人影响有关,探讨他们的理解、态度和知识的变化。第二个主题探讨了更广泛的变化和干预对其他个体的影响。这不仅包括参与者在实践中的改变,直接影响他们的病人,还包括干预对他们的个人生活和更广泛的专业观点的影响。

个人影响:全科医生的知识和态度的变化

增加知识和态度是强调的第一个主题。大多数参与者报告说,参加这项研究大大增加了他们对多动症的认识,特别是因为他们在多动症方面接受过非常有限的医学培训。参与者表示,这有助于减少误解,揭开ADHD的神秘面纱,这对年轻的全科医生或实习生尤其有用。许多参与者发现他们对这个话题知之甚少,特别是关于成人诊断和生物/遗传因素,因为许多人认为或被教导多动症是一种只存在于童年的行为问题。增加准确的知识对全科医生特别有帮助,因为他们喜欢了解获得诊断和获得正确治疗的积极因素。

说实话,我很惊讶我事先对它所知甚少……我更有同情心……我能记住这么多关于它的事实,可能证明了它在强化和保留信息方面是多么的好。
(P12)

对ADHD有一些初步了解的参与者表示,该课程是一个很好的复习,在增加一些额外的未知事实的同时,也证实了他们已经知道的东西。这些参与者经常提到,他们的知识是在他们的实践中以非正式的方式获得的,他们感到放心,这些知识是通过干预确认的。然而,一些参与者提出的问题是,虽然干预是信息丰富的,但对于具有广泛先前知识的个人来说,它过于简单:

你在这个过程中收集了一些零碎的东西,我认为其中大部分都在项目中涵盖了,然后我估计大约有50%是我没有意识到的。
(票数)

从课程中获得的知识和信息的增加导致几乎所有参与者报告对多动症的态度发生了变化。更具体地说,参与者报告说他们感到更自信,对多动症更加理解和同情。参与者还报告说,他们对寻求诊断的人更加宽容和耐心,偏见更少,轻蔑也更少。通过揭开ADHD的一些污名,该资源让参与者对这种疾病有了更多的同理心,并改变了他们的心态:

事实上,它改变了我的态度,这种学习并不常见,因为态度是根深蒂固的。
(P1)
我有几个患有多动症的成年人(他们已经被诊断过了),当我们“抱着他们”,直到他们排到最前面去看精神科医生的时候,我能够更加同情他们。
(P19)
更广泛的影响:实践中的变革和超越

这些访谈强调的第二个主题涉及干预措施的更广泛影响。许多参与者报告说,他们以许多不同的方式改变了自己的做法。有些报告说,鉴定和转诊工作有所增加,承认该课程使它们能够使这一过程更容易和更快,并制定了更有条理的转诊办法。其他人报告说,他们现在用于转诊和管理ADHD的工具和信息在实践中发生了变化,增加了转诊服务和筛查问卷。正如一位全科医生所提到的,“并没有那么多什么我确实改变了,但是如何我这样做。”获得的一些知识,例如,关于多动症和抑郁症之间的关系,或者对成年期症状的更多认识,帮助全科医生进一步探索病人的病史,并提出更多的问题。没有报告改变做法的参与者报告说,这主要是因为他们在实践中缺乏机会,例如,高于平均水平的老年人口。尽管如此,这些参与者报告说,即使在参与研究6个月后,当他们遇到患有多动症的患者时,他们知道他们将来如何改变他们的做法:

我给他们提供额外的支持,给他们额外的约会时间……有些问题我现在可能会问,而以前我不会问。
(P2)
我推荐人们接受评估的门槛现在要低得多。
(P12)

最后,许多全科医生报告了他们的实践之外的影响。这些参与者讨论了该课程如何让他们在家庭成员或他们在其他环境中认识的个人中识别多动症。学员还经常在自己的接触和实践中传播课程,扩大课程的影响。最后,与会者也报告说,由于参加了这个课程,他们寻求进一步的培训。参与者询问我们是否有更多类似主题的模块,他们还参加了关于多动症和其他发育状况的进一步培训,因为他们想了解更多:

这也让我对自己的儿子有了一点了解。
(P18)
这完全改变了我对他们的看法,我更有同情心了。
(好)
我可以在医生会议上把学到的东西传授给其他医生。我希望这不仅会影响到我,也会影响到做手术的医生。
(P2)
调查

在参与研究6个月后,共有21名参与者(10/21,48%为女性)回应了一项简短的网络调查。这些回答来自参加访谈的参与者(12月21日,58%)和没有参加访谈的参与者(9月21日,42%)。

这些回答与访谈回答进行了三角分析,并观察到类似的结果。当被问及参与者是否获得了ADHD的知识,以及他们在与课程互动之前和之后对待ADHD的方式是否有任何不同时,91%(20/21)的参与者表示同意。当被问及干预是否已经影响到他们的实践时,66%(14/21)的人说有,19%(4/21)的人说没有,15%(3/21)的人说干预还没有影响到他们的实践。

当被要求举例说明它如何改变了他们的实践时,全科医生提到了与访谈中类似的话题,包括增加转诊,更有信心讨论和识别多动症,更好地使用评估/筛查工具,以及更好地认识和理解多动症患者。

最后,当被问及该课程是否影响了他们对患有或有患ADHD风险的患者的态度时,19%(4/21)的参与者报告没有变化。报告态度发生变化的参与者提到了移情增强、更好的理解、对诊断的积极影响的认识增强、快速转诊的重要性以及信心的增强。他们还提到,常见的ADHD耻辱感有所减少,比如父母管教不当,以及认为ADHD只发生在儿童时期的误解。

未参加访谈的全科医生组的调查回答与访谈主题进行了三角化。在报告课程对个人的影响时,全科医生认为它确实改变了他们对多动症的态度和认识:

更好地理解对个人的影响和他们需要的支持。
(好)
我更同情父母。
(P19)

全科医生也报告了他们改变做法的广泛影响:

我增加了对成人多动症的治疗,而不是心理治疗。
P21 []
训练后的第二天我看到了一个小男孩,知道该问什么问题很有用。
(P8)

主要研究结果

为了了解基于网络的心理教育项目的潜在临床应用,旨在提高全科医生对多动症的认识,我们进行了一项试点随机对照试验,并证明了干预的潜在有效性,全科医生报告了对多动症知识的增加,态度的改变,误解的减少,实践的改变,以及良好的可接受程度。以往的研究[9研究表明,全科医生在理解和管理多动症方面的一些主要障碍反映了他们缺乏培训和知识,以及存在误解。这项研究表明,一个简短的基于网络的教育项目可以很容易地实施,它可以解决这些差距,同时也影响实践。这项研究(超过115/170,67.6%)的全科医生从未接受过任何ADHD培训)和其他[3738]强调了缺乏针对多动症的初始全科医生培训。在之前接受过和没有接受过ADHD训练的参与者之间没有观察到差异,这表明目前的训练是临时的。因此,这一干预措施对解决这些差距是及时的。

调查结果还强调了对干预工具的可用性和实施的积极反馈。参与者喜欢参与干预,并发现它很有用。一些参与者亲自联系研究人员,询问是否可以与同事和全科医生实习生在他们的实践中分享这个工具,因为他们发现它信息量很大。没有一个参与者能想到他们觉得缺失了什么,或者可以改变什么。网上资源的可用性最初是在一项小型试点研究中进行调查的[26],该随机对照试验的结果证实,基于网络的资源已准备好按原样使用,无需进行进一步调整。访谈的结果也与我们之前发现的初级保健中ADHD服务的障碍进行了三角分析,例如缺乏适当的服务和缺乏培训[10].全科医生承认,缺乏对多动症的培训促使他们首先采取这种干预措施;虽然知识的增加是有用的,但缺乏可参考的服务,特别是对成年人来说,令人沮丧。与以往有关全科医生的误解和态度的研究结果相反[31],我们的研究结果显示,全科医生表达的误解和污名化观点较少。干预措施确实解决了其中的一些问题;然而,我们发现在基线时,全科医生比以前报道的更不容易出现耻辱感。

很少有研究调查对全科医生实施基于网络的干预措施。这项研究有助于研究提高全科医生对特定疾病认识的方法[15]并提供无障碍的网络教育项目。由于全科医生对ADHD的培训有限,并且没有其他针对性的网络教育资源,因此本研究解决了一个重要的空白。试点很重要,因为它允许学习有价值的方法教训。尽管许多试验性随机对照试验往往由于样本量小而难以建立具有统计意义的结果[39-41],尽管样本量有限,但本研究表明了干预的潜在功效。

合作方式[26]在开发基于网络的资源的设计和格式方面所采取的措施为本研究提供了许多优势。该资源对全科医生来说是最理想的,因为它是有时间限制的,容易获得,并且免费提供,最大限度地减少了全科医生接受培训的成本和时间。尽管先前的研究强调了招募全科医生作为研究参与者的困难[224243],这项研究在招募人员方面没有困难。相反,招聘速度非常快,仅仅两周就结束了。这可能表明对该主题的高度兴趣或对ADHD培训的强烈需求。另外,与最近研究提出的建议类似,可以采用货币和非货币(持续专业进修证书)奖励措施[44]及定期提醒[42可能也促成了这项研究的成功招募。

限制

本研究也强调了一些局限性。样本性别不平衡,女性比例较高(103/170,60.6%)。英格兰总医学委员会最近的一份报告[45]表明这是NHS兼职而非全职永久合同的代表(全职永久合同的全科医生中只有4004/ 11441,34.99%是女性,而兼职的5008/8341,60.04%)。不幸的是,我们没有收集参与者是兼职还是全职工作的信息,这一发现可能意味着,如果参与者兼职工作,他们更有可能参与研究,因此有更多的时间来完成研究。同样重要的是要强调,这项研究是在英格兰进行的,因此是针对英国医疗保健系统的,在英国,全科医生作为看门人,为二级医疗服务的诊断和治疗提供转诊是常态。因此,网络资源中提出的建议以及本研究的设计反映了这一具体系统,可能不适用于采用不同方法的国家。

由于务实的原因必须采用的方法不够严谨,也产生了限制。首先,评估员并不是对这项研究不知情,尽管参与者是不知情的,但他们有可能猜到他们的小组分配。尽管这可能是报告该试验RCT严谨性的一个问题,但研究结果表明,这一影响有限,仍然值得进行完整的RCT。其次,作为一项先导疗效RCT,没有正式的功效计算来告知样本量。然而,获得的样本量足以证明干预后两组之间的差异。第三,由于基于网络的干预的格式,随机化必须在基线之前进行,这是不常见的做法。在基线调查问卷之后进行随机化,会给研究增加另一个步骤,要求全科医生抽出时间进行不止一次的治疗,因此被认为可能会增加流失率。将特定的链接发送给对照组或干预组,以便全科医生可以在1个疗程内完成T1和T2的问卷调查,以最大限度地提高完成率。然而,尽管有明确的指示,只有不到50%的gp在一个疗程内完成,因此基线后的随机化可能不会对损耗产生重大影响。在两个时间点间隔超过48小时后,共有18名参与者被排除在分析之外。 Therefore, completion in 1 session, although ideal for this study, seemed unfeasible for most participants.

虽然有相当数量的填写了同意书的参与者没有参加研究(60/ 231,25.9%),但这种退出可以由多种因素解释。全科医生的招聘是复杂的。通常会招募实习医生进行研究,并挑选一些全科医生参加。无论是实践还是实践经理都会对参与他们的实践表示兴趣。几位被排除在外的参与者,因为他们之前参加过我们的试点研究,他们解释说,他们代表他们的做法提供了同意。在未来,个人对实践的兴趣和同意的表达将变得更加清晰。T1和T3的磨耗率中等,为23.3%(40/171)。T2和T3之间的损耗率非常低(2/133,1.5%)。一些留存策略(游戏邦注:如带有明确截止日期的每周提醒和强化激励机制)似乎能够将流失率与随机对照试验的平均流失率相比降至最低。4647].

未来的研究应解决本研究中出现的方法学问题。然而,尽管它影响了流失率和排除率,但这些问题似乎并没有影响本研究本身的发现。在实践中观察到一些变化;然而,由于这项研究的时间限制(6个月),我们无法全面评估随着时间的推移这种影响。未来的研究应该包括纵向评估,以探索知识、态度和实践的变化是否会在更长的时间内保持不变。探索这一资源对其他卫生保健专业人员(如初级保健护士或二级保健专业人员)的影响,也将有助于调查这一干预措施的更广泛影响。最后,虽然在本研究中获得了关于实践变化的定性数据,但在本研究的背景下,评估对转诊数量和质量的影响是不可能的。未来的研究应包括转诊或观察成分的评估,以更直接地衡量实践中的变化。

结论

这个试验性随机对照试验成功地回答了一个假设,即一个简短的基于网络的心理教育项目将提高全科医生对多动症的认识、知识和态度,同时也改变了他们的做法。这些发现需要谨慎解释,因为这是唯一一项调查这种基于网络的干预效率的研究,需要进一步的研究来重复这些发现。然而,这些发现强调了对患者护理和政策的潜在重大临床影响。通过提高全科医生的理解和知识,患者应该获得更及时的护理,减少未经治疗和未诊断的ADHD的长期影响。这个基于网络的资源已经被RCGP采用,它将影响本研究之外的许多全科医生的学习和意识,对实践产生更广泛的影响,一旦认识到培训全科医生治疗多动症的重要性,就有可能影响委托决策。

致谢

作者在此感谢参与者在本研究期间分享他们的智慧、经验,并花时间完成本研究。欧洲经委会感谢国家健康研究所诺丁汉生物医学研究中心的财政支持。BF感谢经济和社会研究理事会的财政支持。

利益冲突

DD报告来自Shire/武田的赠款、个人费用和非财务支持;医疗机构的个人费用和非经济支持;礼来公司的个人费用和非经济支持;以及QbTech在提交作品之外的非经济支持。BF报告个人费用和来自Shire/武田的非经济支持。KS是国家健康与护理卓越研究所ADHD指南制定小组(NG87)的成员。其他所有人都声明没有利益冲突。

多媒体附录1

参与者的人口统计数据。

DOCX文件,13 KB

多媒体附录2

两组在3个不同时间点的注意缺陷障碍知识量表的知识、误解和信心得分的描述性统计。

DOCX文件,15 KB

多媒体附录3

注意缺陷障碍知识量表3个分量表在3个不同时间点的知识得分描述性统计。

DOCX文件,18kb

多媒体附录4

CONSORT电子健康检查表V1.6.2。

PDF档案(adobepdf档案),101kb

  1. 国家精神卫生合作中心(联合王国)。注意缺陷多动障碍:儿童、青少年和成人ADHD的诊断和管理。心理学报,2018。
  2. 儿童、青少年、家长、教师和卫生保健专业人员对注意缺陷/多动障碍(ADHD)及其治疗的认识和态度。当代精神病学杂志2013年8月;15(8):377。[CrossRef] [Medline]
  3. ADHD的污名化:一项发展回顾。[J]声学学报,2016;20(3):199-205。[CrossRef] [Medline]
  4. 张建军,张建军,张建军,张建军。儿童注意缺陷多动障碍的经济负担:一种比较成本分析。诺丁汉储存库,2019。URL:https://nottingham-repository.worktribe.com/output/2247087/the-economic-burden-of-adult-attention-deficit-hyperactivity-disorder-a-sibling-comparison-cost-analysis[2020-01-27]访问
  5. Ginsberg Y, Beusterien KM, Amos K, Jousselin C, Asherson P.所有ADHD成年人未满足的需求并不相同:以欧洲为重点。专家与启示,2014,14(7):799-812。[CrossRef] [Medline]
  6. 张建军,张建军,张建军。注意力缺陷/多动障碍:社会经济剥夺的影响。《中华儿科杂志》,2019,31(8):882 - 885。[CrossRef] [Medline]
  7. Sayal K, Prasad V, Daley D, Ford T, Coghill D.儿童和青少年ADHD:患病率,护理途径和服务提供。柳叶刀心理学2018年2月;5(2):175-186。[CrossRef]
  8. McCarthy S, Wilton L, Murray ML, Hodgkins P, Asherson P, Wong IC.英国初级保健儿童、青少年和成人注意缺陷多动障碍(ADHD)药物治疗的流行病学。中华儿科杂志2012年6月19日;12:78 [j]免费全文] [CrossRef] [Medline]
  9. French B, Sayal K, Daley D.初级保健中理解ADHD的障碍和促进因素:一项混合方法的系统回顾。中华儿童精神病学杂志;2019;28(8):1037-1064 [j]免费全文] [CrossRef] [Medline]
  10. 张晓明,张晓明,张晓明。儿童注意力缺陷多动障碍认知的研究进展。Worktribe》2020。URL:https://nottingham-repository.worktribe.com/output/4005323/awareness-of-adhd-in-primary-care-stakeholder-perspectives[2020-03-25]访问
  11. Tatlow-Golden M, Prihodova L, Gavin B, Cullen W, McNicholas F.全科医生对ADHD了解多少?初次接触看门人的态度和知识:系统的叙述回顾。BMC Fam practice 2016 Sep 7;17(1):129 [j]免费全文] [CrossRef] [Medline]
  12. Lester H, Birchwood M, Freemantle N, Michail M, Tait L.重新定位:全科医生培训治疗首发精神病的整群随机对照试验。[J]中国医学工程学报,2009;33 (5):591 - 591 [J]免费全文] [CrossRef] [Medline]
  13. Rosendal M, Olesen F, Fink P, Toft T, Sokolowski I, Bro F.初级保健中躯体化评估和治疗的随机对照试验:对患者预后的影响。普通医院精神病学2007;29(4):364-373。[CrossRef] [Medline]
  14. Rughani A, Riley B, Rendel S.全科医生专业培训的未来:加强和扩展。[J]中华医学杂志;2009;32 (5):391 - 391 [J]免费全文] [CrossRef] [Medline]
  15. Sikorski C, Luppa M, König HH, van den Bussche H, Riedel-Heller SG。全科医生抑郁症护理培训是否影响患者预后?-系统回顾和荟萃分析。医疗卫生服务,2012,1;12:10 [免费全文] [CrossRef] [Medline]
  16. 张建军,张建军,张建军,张建军,等。阿片类药物处方与慢性疼痛管理的临床研究进展。健康教育实践J Res Prof Learn 2019年7月3日;2(1)[免费全文] [CrossRef]
  17. 李建军,李建军,李建军,等。儿童行为问题护理可及性和临床效果的研究进展。儿科发展与行为杂志;2010;31(5):393-404。[CrossRef]
  18. Robles R, Lopez-Garcia P, Miret M, Cabello M, Cisneros E, Rizo A,等。世卫组织-卫生和健康缺口在墨西哥的培训:增加初级保健中识别和管理抑郁症和自杀风险的知识和准备。Arch Med Res 2019 11月;50(8):558-566。[CrossRef] [Medline]
  19. 王丽娟,王丽娟。初级保健护士对老年抑郁症的认知、态度和实践变化。中华老年护理杂志2007;2(1):25-35 [J]免费全文] [CrossRef] [Medline]
  20. 李建军,李建军,李建军,等。一般实践中的家庭暴力和儿童保护培训:对试点干预的混合方法评价。BMC Fam practice 2017 3月4日;18(1):33 [免费全文] [CrossRef] [Medline]
  21. 李超,曾慧,吴玲,庄燕。多期短期培训提高护士对长期护理机构中老年抑郁症患者护理知识、态度和信心。中华护理杂志,2020;43(1):114-121。[CrossRef] [Medline]
  22. 作者简介:刘建军,刘建军,刘建军,李建军。基于网络的全科医生继续医学教育(CME)是否有效?系统的回顾。Oct 2014; Oct 1;43(10)。
  23. 李建军,李建军,李建军,等。医师循证选择:参与与非参与医师的比较分析。中华医学杂志2010年6月10日;10:42 [j]免费全文] [CrossRef] [Medline]
  24. Wang D, Abrams M.卫生保健提供者?关于传播HIV临床证据的全州在线教育项目的概况和评估。中华医学杂志,2019;5(1):1107 - 1107。[CrossRef]
  25. Guenter D, Abouzahra M, Schabort I, Radhakrishnan A, Nair K, Orr S,等。初级保健中神经性疼痛的新型临床决策支持系统的设计过程和应用:混合方法观察研究。中华医学杂志2019年9月30日;7(3):e14141 [j]免费全文] [CrossRef] [Medline]
  26. French B, Daley D, Perrez-Vallejos E, Sayal K, Hall C.全科医生注意缺陷多动障碍在线教育工具的开发与评价:联合制作的重要贡献。准备BMC Fam实践2020 10月16日[免费全文] [CrossRef]
  27. Craig P, Dieppe P, Macintyre S, Michie S, Nazareth I, Petticrew M,医学研究委员会指导。发展和评价复杂的干预措施:新的医学研究理事会指南。Br医学杂志2008年9月29日;337:364 [J]免费全文] [CrossRef] [Medline]
  28. 多动症——干预。Worktribe。URL:https://www.nottingham.ac.uk/helmopen/rlos/practice-learning/mental-health/adhd/[2020-01-10]访问
  29. 周年电影。心理健康研究所。URL:https://www.institutemh.org.uk/news/videos/223-tenth-anniversary[2020-01-10]访问
  30. Sciutto MJ, Terjesen MD, ku erov A, michalov Z, Schmiedeler S, Antonopoulou K,等。教师对ADHD的认识与误解的跨国比较。国际心理医学杂志,2016;5(1):34-50。[CrossRef]
  31. Adamis D, Tatlow-Golden M, Gavin B, McNicholas F.爱尔兰全科医生(GP)对注意缺陷多动障碍(ADHD)的态度和认识。中华医学杂志,2019;38(1):231-239。[CrossRef] [Medline]
  32. Sciutto MJ, Terjesen MD, Frank AS。教师对注意缺陷/多动障碍的认知与误解。心理健康杂志2000;37(2):115-122。[CrossRef]
  33. 随机分配受试者到治疗组。图垫。URL:https://www.graphpad.com/quickcalcs/randomize1/[2020-06-01]访问
  34. Green S, Salkind N.使用SPSS for Windows和Macintosh:分析和理解数据。第六版。波士顿,英国:普伦蒂斯霍尔;2011.
  35. 主题分析在心理学中的应用。心理医学杂志,2006;3(2):77-101。[CrossRef]
  36. 经验的定性分析:扎根理论与个案研究。研究方法临床心理杂志2004年1月;69。[CrossRef]
  37. 桤木LS。初级保健医生诊断和治疗成人ADHD的问题。精神病学2009;16(5):63 [j]免费全文]
  38. Salt N, Parkes E, Scammell a .全科医生对初级保健中ADHD管理的看法:Wandsworth全科医生的研究。卫生保健研究进展,2005年4月1日;6(2):162-171。[CrossRef]
  39. erser S, Cowdell F, Nicholls P, Latter S, Healy E.一项研究教育护理干预改善轻中度牛皮癣患者自我管理实践的可行性和有效性的随机对照试验。中国生物医学工程学报,2012;26(6):738-745。[CrossRef] [Medline]
  40. 刘建军,刘建军,刘建军,等。一种早期干预学龄前儿童抑郁症的方法:基于随机对照试验的研究。中华精神病学杂志;2012;33 (3):313-322 [J]免费全文] [CrossRef] [Medline]
  41. Watts S, Mackenzie A, Thomas C, Griskaitis A, newton L, Williams A,等。CBT治疗抑郁症:一项比较手机和电脑的试验性随机对照试验。BMC Psychiatry 2013 Feb 7;13(1)。[CrossRef]
  42. Aerny-Perreten N, Domínguez-Berjón MF, Esteban-Vasallo MD, García-Riolobos C.初级保健在线调查迟或无反应的参与及其相关因素。中华临床医学杂志,2015;21(4):688-693。[CrossRef] [Medline]
  43. 杨建军,刘建军,李建军,李建军,等。无条件和有条件激励差异提高全科医生参与在线调查:随机对照试验。中华临床流行病学杂志,2015;68(6):693-697。[CrossRef] [Medline]
  44. 李文华,吴涛,李晓明。招聘策略对全科医生调查回复率的影响——系统评价。中国医学杂志2014年6月6日;14:76 [j]免费全文] [CrossRef] [Medline]
  45. 我们的数据告诉我们关于GPS的信息。总医学委员会,2018年9月https://www.gmc-uk.org/-/media/documents/what-our-data-tells-us-about-gps_pdf-74830685.pdf[2020-04-08]访问
  46. 王晓明,王晓明。网络干预对焦虑和抑郁的影响。医学与互联网研究2009年4月24日;11(2):e13 [J]免费全文] [CrossRef] [Medline]
  47. 李建军,李建军,李建军,等。在长期随机试验和前瞻性研究中,随访损失多少是可以接受的?中华儿科杂志;2008;31(6):458-461。[CrossRef] [Medline]


多动症:注意缺陷/多动障碍
ANCOVA:协方差分析
CPD:持续专业发展
CRN:临床研究网络
医生:全科医生
KADDS:注意缺陷障碍量表知识
国民健康保险制度:国民保健制度
RCGP:皇家全科医生学院
个随机对照试验:随机对照试验
T1:时间点1
T2:时间点2
T3:时间点3


G·艾森巴赫编辑;提交05.05.20;V Prasad, A McLean的同行评审;对作者的评论12.06.20;修订版本收到26.06.20;接受22.07.20;发表11.12.20

版权

©Blandine French, Charlotte Hall, Elvira Perez Vallejos, Kapil Sayal, David Daley。最初发表于JMIR医学教育(http://mededu.www.mybigtv.com), 2020年12月11日。

这是一篇在知识共享署名许可(https://creativecommons.org/licenses/by/4.0/)条款下发布的开放获取文章,该许可允许在任何媒介上不受限制地使用、分发和复制,前提是原始作品首次发表在JMIR医学教育上,并适当引用。必须包括完整的书目信息,到http://mededu.www.mybigtv.com/上原始出版物的链接,以及版权和许可信息。


Baidu
map