使用众包技术快速分级糖尿病视网膜病变眼底照片

介绍

由于早期糖尿病视网膜病变(DR)通常是无症状的，因此在这一阶段发现疾病要么是偶然的，要么是经过刻意筛查的。DR筛查既有效又符合成本效益[1-4]，但对DR筛查指南的遵守率很低，在美国，只有35-60%的糖尿病患者每年接受眼底扩张检查[5-8]。作为提高依从性的一种方式，使用无散瞳眼底摄影和远程判读的远程保健筛查正在增加，特别是在农村和偏远地区[9-11]。DR的早期诊断和适当的治疗机构为防止年轻的工作年龄人口的视力丧失提供了巨大的机会[3.，4]。特别是远程医疗，可能是控制提供者、付款人和社会成本的一种方式。

远程医疗方案的费用包括眼底相机、远程医疗软件包以及图像采集和解释所需的人力资源。糖尿病视网膜病变筛查中的眼底照片解读成本可能很高，因为解读方案劳力密集，而且每位患者需要解读多张图像。计算机化的、半自动化的图像分析技术已经开发出来，可以减少医生的工作量和筛查成本[12-14];然而，这些方法尚未获得fda批准，目前也未在临床上广泛使用。如果远程保健继续扩大，将需要低成本的方法来解释随着糖尿病发病率上升而产生的大量眼底图像，特别是在资源贫乏的环境和大型公共卫生筛查中。

Brabham将众包定义为“一种在线的、分布式的解决问题和生产模式，它利用在线社区的集体智慧来服务于特定的组织目标”[15]。众包的一个子集，他称之为“分布式人类智能任务”，可以包括将较大的任务细分为小部分，然后招募一组个人来完成这些小部分，只有集体完成整个任务。15]。在生物医学研究中使用众包尚处于起步阶段，尽管一些团体已在公共卫生研究中使用这种方法[16以及解读医学影像。例如，疟疾研究人员使用一种基于网络的游戏来招募未经训练的匿名志愿者，在血液涂片的数字图像上标记和计数疟疾寄生虫[17]。研究人员表示，通过结合几个用户的分析，他们能够达到与专家显微镜相似的准确率。最近，众包被用于对一些诊断为正常或异常的眼底照片进行分类。18]。在英国进行的一项使用未经训练的评分员的试验中，正常与严重异常的敏感性≥96%，正常与轻度异常的敏感性在61-79%之间[18]。

本研究以糖尿病视网膜病变为测试条件，探索是否可以使用众包界面来培训工作人员对人体眼底照片进行正常或异常分类，然后对图像进行诊断分级[19]。本项目对糖尿病视网膜病变众包图像分级的有效性和可靠性进行了评估，并与专家分级的标准标准进行了比较。我们的假设是眼底摄影判读的众包分级可以快速、准确和可靠地筛查糖尿病视网膜病变。

方法

众包

为Amazon Mechanical Turk (AMT)开发了眼底照片分类接口。20.众包平台(图1）.AMT是一个在线劳动力市场，成千上万的人可以用很少的钱快速完成小而分散的任务。典型的AMT任务包括标记照片、翻译单词或为网站撰写非常短的文章。AMT亦被用于为烟草销售点零售环境的照片加上注释[21]，评估口腔健康促进材料[22]，调查抑郁与病耻感之间的关系[23，评估人们对可怕的禁烟运动的反应[24]，并评估公众对卵巢癌的认识[25]，以及许多其他以研究为导向的应用[26-28]。Amazon Mechanical Turk有自己的词汇表，供AMT工作人员(Turkers)和AMT任务管理员(Requestors)使用。人工智能任务(HIT)是一项小任务，可能在几秒钟或几分钟内完成，一旦工作得到请求者的批准，根据HIT的复杂程度，每个任务可能支付0.01- 0.25美元或更多。一组hit称为“批处理”，由类似的hit组成。根据任务的复杂性和请求方提供的付款方式，批处理通常在发布后几分钟或几小时内完成。

AMT是一种基于声誉的经济，因此土耳其人只有在拥有足够的先前接受工作的记录后才能访问最理想的hit [29]。高质量的turker可能会避免新的请求者的点击，直到请求者在批准和拒绝工作方面证明了他或她自己的公平性。事实上，即使是很少的点击率被拒绝，土耳其人的声誉也会受到影响。AMT是一个复杂的生态系统，在这个生态系统中，土耳其人的高质量工作和请求者的公平都得到了奖励。

土耳其人的工作是匿名的，但已经进行了人口统计研究。Ipeirotis在对1000名土耳其人的调查中发现，46.8%的土耳其人位于美国，34%位于印度，其余19.2%来自其他64个国家[30.]。在美国，大多数工人是女性，其中大多数人将AMT报告为补充收入来源，而在印度，大多数工人是男性，并将AMT报告为主要收入来源。纵观各国，土耳其人比一般人更年轻，受教育程度更高。30.]。

‎ 查看此图

设计

对于目前的研究，英国国家筛查计划分级量表[31]由2名视网膜主治外科医生(OPG, CPS)对19张匿名教学图像进行分类。专家评分员使用与土耳其人相同的AMT界面和图像分辨率。通过对存在分歧的图像进行讨论，达成了共识。为了研究的目的，英国分级量表中的术语被翻译成通俗易懂的语言:“背景”视网膜病变被称为“轻度”，“增生前”被称为“中度”，“增生”被称为“严重”。“黄斑病变”被定义为在训练图像上异常，其他情况为中度疾病，但没有单独编码。AMT接口的设计是为了在每个HIT中提供DR分级的培训。该训练包括6张图像，用简单的语言标注了视网膜病变每个级别的显著特征。土耳其人看到了下面的文字:“这是眼睛内部的照片。就糖尿病而言，我们希望给眼睛贴上健康或不健康的标签。评价这只眼睛。” Turkers could hover their mouse over 6 adjacent training images (1 normal, 1 mild, 1 moderate, 3 severe) while reviewing the active test image. This layout allowed for all of the training and grading to occur in one browser window. More examples of proliferative/severe disease were provided due to the heterogeneity of findings constituting this level of disease. There were no restrictions on the type of device or display/monitor used by Turkers to complete the task.

第一阶段

在研究的第一阶段，这19张图片被发布到AMT上，由土耳其人进行评分，每张照片重复10次，作为初步的概念验证。四张照片与这批初始照片一起重新发布了10次，以评估内部可靠性。每张图片支付给土耳其人0.10美元，亚马逊支付10%的佣金。为了有资格查看和完成HITs，土耳其人需要成功完成100个先前的HITs，并且总体HIT批准率为97%。

在最初的批次中，发布hit，要求Turkers将图像分为正常(0)和异常(1)。在随后的批次中，Turkers被要求使用三个类别(正常=0，轻度到中度=1，严重=2)对相同的19张图像进行评分，然后使用四个类别(正常=0，轻度=1，中度=2，严重=3)。计算正确分类图像的百分比。计算所有批次的敏感性和特异性，使用Stata 13将所有异常类别合并为三类和四类分级任务。根据10个Turker分数的模式，为每个图像分配一个工人共识等级。使用10个Turker分数的平均值的共识等级也在探索性基础上计算。对于两类任务，平均得分<0.50定义为正常，≥0.50定义为异常。对于三类任务，<0.50定义为正常，≥0.5至<1.5定义为轻度至中度，≥1.5定义为重度。在四类任务中，<0.50定义为正常，≥0.5至<1.5定义为轻度，≥1.5至<2.5定义为中度，≥2.5定义为重度。

二期

第二阶段的目的是双重的。首先，第二阶段试图评估人群准确区分不同程度视网膜病变的应急能力，基于越来越多的评分者将越来越多地围绕正确答案团结起来的想法。第二，第二阶段设法查明并最终确定一个阈值，超过这个阈值，一个评价者的贡献将不再提供额外的资料。为了实现这一目标，从四个分级类别中每个类别提交一个原型图像，进行500种独特的土耳其人解释。然后使用叠刀重采样方法从500名土耳其人的“总体”中抽取随机子样本，从50个随机样本中抽取2名土耳其人，然后抽取50个随机样本中抽取3名土耳其人，以此类推[21，32]。这样就可以估计每个随机抽取的评分者在每个人群规模下的准确度方差，并计算接受者-操作者特征(ROC)曲线下的面积(AUC)，表明他们相对于专家评分的表现。

第三阶段

在研究的第三阶段，对19张图像进行了三个额外的迭代批次，以努力提高使用四种诊断类别的Turker分级。第一批使用之前所有批次的Turker反馈来修改训练图像集。第二批除了修改后的训练图像外，还对土耳其人使用了更严格的标准。至少需要500个完成和批准的HIT，总体HIT批准率为99%。第三批是使用亚马逊指定的“照片审核大师”的土耳其人进行的，除了对第1批和第2批进行的更改外，还将每张图片的赔偿金提高到0.15美元。获得这一称号的必要标准没有公布，但大师是“在机械土耳其市场上对特定类型的hit表现出准确性的工人精英团体”。工作人员通过在不同的请求者中始终如一地完成某种类型的hit，并具有高度的准确性，从而获得大师的区别。[33]。在阶段1中，对于这三个迭代批次，正确分类的百分比，工作人员共识得分，以及完成hit的平均时间进行了估计。

威尔斯眼科研究所机构审查委员会裁定这项研究不需要批准。

结果

第一阶段

两位专家评分者(OPG, CPS)将12幅图像编码为异常，7幅图像编码为正常(表1）.第一阶段的三个批次中，每批包括23张照片(19张唯一的，4张重复的)和10个独特的评分者，总共230个评分实例。图像的Turker分级完成时间随分级类别的数量而变化。2类(正常/异常)评分20分钟完成，3类评分3小时完成，4类评分2小时完成。由于图像的解释速度很快，工作人员可以根据需要完成尽可能多或尽可能少的HITs，因此，四张重复图像中的大多数都是由唯一的土耳其人评定的，因此，我们无法评估内部的可靠性。

在第一阶段的两类hit(正常与异常)的230个唯一图像分级实例中，187个(81.3%)图像被Turkers (表1）.使用个体Turker评分的敏感性和特异性分别为93.6%和67.8%。采用Turker共识评分，敏感性100%，特异性71.4%。对每张图像进行评分的平均时间为25秒，包括审查训练图像的时间。每次评分0.11美元，每张图像的评分为1.10美元，评分的有效时薪为14.31美元(表2）.

随着第三和第四个分级类别的增加，正确分类的图像总数分别下降到64.4%(148/230)和50.9%(117/230)。特异度为96.3%，特异度为66.7%。在Turker共识水平上，3类和4类敏感性均为100%，3类和4类特异性分别为71.4%和100%。有了额外的评分标准，评分的速度就会下降，有效时薪也会下降。完成三类hit的平均时间为51秒，而实际时薪为7.08美元。完成四类hit的平均时间为55秒，实际时薪为$6.60 (表2）.

二期

II期结果同样表明，对异常与正常的总体评分的敏感性和特异性非常好，产生了非常显著的AUC (0.98;图2当被要求区分四个严重程度时，土耳其人并不准确。然而，事后对比分析表明，当被要求识别严重程度中等的异常时，Turkers表现良好(ROC=0.85;图2结果模式显示，诊断轻度疾病的准确率较低(ROC=0.57;图2A组)和重度(AUC=0.73;图2(C组)异常是由于倾向于将所有异常评定为中度严重程度，而不是无法更普遍地识别正常与轻度和严重异常。结果还表明，当人群规模达到7到10个turker之间时，通常会达到最大的AUC，这证实了用于评估更大图像集的人群规模的有效性(图2）.这肯定了，如果我们为每个HIT寻求更多的土耳其人，那么第一阶段和第三阶段的结果不会有什么不同。

‎ 查看此图

第三阶段

在III期，由于Turkers在i期将可见脉络膜血管解释为异常，因此增加了额外的正常训练图像。这些注释被澄清，表明单个微动脉瘤的存在被认为是异常的，并且不需要存在硬渗出物来判断中度或重度疾病。增加了放大正在分级的图像的功能。在使用新训练的第一批中，使用共识Turker分数正确分类图像的百分比并不比以前更好:42.1%(8/19幅图像)对57.9%(11/19幅图像)，分别是模式和21.1%(4/19幅图像)对26.3%(5/19幅图像)。在第二批中，通过更严格的Turker选择标准，在模式不变的情况下，正确分级的图像比例平均提高到52.6%(10/19张图像)。这一结果在该批次的重复运行中得到了证实(数据未显示)。在第三批中，使用“Photo Moderation Masters”，按平均值(模式不变)，正确分级的图像比例下降到36.8%(7/19张图像)。在所有批次中，对任何疾病水平的诊断敏感性都保持在100% (表3）

讨论

主要研究结果

通过公共众包平台招募一个匿名的、未经培训的工作人员，只需最少的培训，就可以快速、正确地将糖尿病患者的眼底照片分类为正常或异常。在这项研究中，Turkers用高灵敏度对这些图像进行分级，这是一种理想的筛选工具。关键是，在我们的任何批次中都没有产生假阴性一致结果，表明没有遗漏DR病例。当被要求根据视网膜病变程度对照片进行分类时，土耳其人随着土耳其界面的改变而改善，特别是执行HITs所需的事先批准等级的增加。达到可靠的“一致评分”所需的评分员数量在各个类别之间是一致的，并且每个图像建立10个评分实例足以获得有效结果。

解译图像的总费用为每只眼睛1.10美元。虽然目前仍需要对异常图像进行进一步评估，以确定需要进行现场检查的患者，但这一成本已接近一些研究人员建议的发展中经济体可行的公共卫生筛查的极限[34]。事实上，在我们的研究中，每张图像的报销范围从有效时薪6.60美元到14.31美元不等，可能会减少，因为AMT工人的合理目标时薪是每小时7.25美元或更低的联邦最低工资[35]。此外，发布更大批量的图像可能会降低每张图像的报销，因为Turker的速度可能会在任务变得更熟练后增加，从而使他们保持相同的有效工资。虽然高质量的反应与高工资之间可能没有直接关系[36]，高工资与快速完成图像分级之间可能存在联系，因此大幅减少报销可能并不明智。

对个别土耳其人得分的事后分析显示，在第3阶段的第一批中，一个土耳其人不一致地使用了四个评分类别(表3）.通过考虑这批特定的产品，可以发现几个问题。首先，所有类别的不一致使用是罕见的，这表明土耳其人是尽职尽责的工人。这一点在Turkers完成HITs时的评论中也很明显，其中包括对界面改进的深思熟虑的建议，以及对感觉模糊的HITs的关注。其次，使用众包响应的平均值可能会产生对异常值相当敏感的输出。出于这个原因，使用模式来计算共识通常是可取的，尽管有些图像可能没有纯模式(表3)，在这种情况下，任何“平局”得分较高的将用于临床。第三，更广泛地说，AMT可能容易受到Turker账户的影响，这些账户试图利用该系统，通过随机响应快速完成HITs，要么是与真人，要么是与自动程序或“机器人”[29]。展望未来，可能有必要分析这种现象的原始Turker分数，并可能开发方法来排除系统不可靠的分数。

由于AMT是一种基于声誉的经济，请求者可以拒绝或阻止那些表现不佳的土耳其人。这两种行为都会对Turkers的声誉产生负面影响，进而影响他们未来执行hit的能力，因此有强烈的动机准确而诚实地执行任务。这可能就是为什么将先前的HIT支持率提高到99%对共识准确性产生最大影响的原因。增加“照片管理大师”资格并没有提高工人的共识。这可能是由于Amazon用于授予此资格的标准与我们的任务无关。此外，由于只有一小部分土耳其人有资格，要求它减少了可用的劳动力，这可能会增加完成批次所需的时间。特别是考虑到额外的亚马逊佣金，对于这些类型的任务来说，使用硕士资格证书可能不是必要的，也不划算。

目前的研究仅限于一组精心挑选的高质量散瞳眼底照片，以说明糖尿病视网膜病变的关键发现。筛查人群可能有一小部分低质量或无法解释的图像，也可能有更多正常眼底的图像。在这样的一组照片中识别病理，需要土耳其人格外警惕，才能在一大组正常照片中发现轻微的疾病。更大的数据集和更微妙的病理需要用这种方法进行测试。此外，分析界面的迭代改进是否会带来更好的结果，因为Turkers可能以前接触过这个任务，并且可能通过实践提高了他们的评分。这是不可能的，因为土耳其人没有收到关于他们评分的反馈，所以他们不知道他们是否正确地对图像进行了评分。此外，虽然目前无法“阻止”之前完成任何hit的土耳其人，但可以在项目中查看他们的评分历史。令人惊讶的是，在所有批次发布中，我们的大多数HITs都是由土耳其人完成的，否则naïve到我们的项目。在为这个项目发布的最后一批190个HITs中，在使用相同的图像发布了大约3000个HITs之后，170个(89.5%)是由以前从未做过我们的任何HITs的土耳其人完成的，20个HITs是由3个单独的土耳其人完成的，他们之前只对4个图像进行了评分(数据未显示)。在未来更大规模的批量生产中，可能有必要针对个别评分者的进步进行调整。

未来的考虑

虽然还需要进一步改进方法来解决视网膜病变的程度，但目前的模型可以作为一种方法，通过在非常大的筛选中消除大多数正常图像，只传递那些异常图像以进一步表征，从而减轻熟练评分者的负担。虽然在AMT上完成HITs的个人是真正匿名的，但他们确实有唯一的数字标识符，并且可以跨HITs和批次HITs进行跟踪。因此，使用众包界面的一个有趣的可能性可能包括开发一个特定的土耳其人骨干，他们展示了可靠的评分记录。这些评分员可能比一般的土耳其人有更高的分类水平，可以被招募来完成更复杂的评分任务。此外，自动化计算机算法很可能也将在未来DR和其他条件下的眼底图像分析中发挥作用。这增加了人工智能和人类智能之间更强大互动的可能性。一个系统可以以分层的方式对图像进行分级，然后将那些分级不明确的图像路由到另一个系统进行进一步验证。

这种众包项目的一个意想不到的好处是，它可能会提高人们对糖尿病和糖尿病视网膜病变的认识。由于我们的界面允许Turkers留下反馈，以便我们改进仪器，我们能够捕捉到诸如“我对糖尿病有所了解”，“我真的很喜欢看到眼睛的照片，非常有趣”，“这个HIT非常好，从所有的泡泡调查中得到了很好的休息。”谢谢你！，这表明我们对这个主题的兴趣超出了其他hit，也超出了我们一开始的预期。这一发现与生物医学研究以外的领域中所谓的“虚拟公民科学”相一致[37]。

结论

众包代表了一种快速识别糖尿病视网膜病变的新颖而廉价的方法。需要对该技术进行进一步的改进，以及使用更大的图像集进行外部验证。此外，在临床使用这项技术之前，还需要解决多个医学法律和伦理问题，但在未来的大型公共卫生筛查和其他环境中，众包医学成像数据可能会发挥作用。