这是一篇根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)发布的开放获取文章,允许在任何媒介上不受限制地使用、分发和复制,前提是正确引用了首次发表在JMIR公共卫生和监测上的原创作品。必须包括完整的书目信息,https://publichealth.www.mybigtv.com上的原始出版物的链接,以及此版权和许可信息。
快速诊断检测(RDTs)正被广泛用于管理COVID-19大流行。然而,许多结果仍未报告或未经证实,改变了正确的流行病学监测。
我们的目标是评估一个基于人工智能的智能手机应用程序,该应用程序连接到云网络平台,以自动客观地读取RDT结果,并评估其对COVID-19大流行管理的影响。
总的来说,252份人类血清用于接种1165份RDTs用于训练和验证目的。然后,我们进行了两项实地研究,通过在两家养老院测试172个抗体rdt和在一家医院急诊科测试96个抗原rdt,来评估在现实场景下的表现。
现场研究表明,与卫生工作者的目视读数相比,读取COVID-19抗体快速检测试剂盒的IgG带具有较高的敏感性(100%)和特异性(94.4%,可信区间92.8%-96.1%)。IgM检测条带的敏感性为100%,特异性为95.8% (CI 94.3% ~ 97.3%)。应用程序正确读取了所有COVID-19抗原快速检测。
所提出的读取系统是自动的,减少了与RDTs解释相关的可变性和不确定性,并可用于读取不同的RDT品牌。该网络平台可作为实时流行病学跟踪工具,并有助于向相关卫生主管部门报告阳性快速诊断检测结果。
为了控制新冠肺炎疫情,及时准确的新冠肺炎早期检测策略是减缓病毒传播的关键。使用快速诊断检测方法检测抗体和抗原,有助于提高COVID-19检测能力,降低诊断成本,并能够以最快速度得到结果[
将快速诊断检测与数字工具、人工智能(AI)和移动医疗方法相结合,有助于将结果解释标准化,并促进立即报告和监测结果[
TiraSpot系统由(1)一个用于测试数字化和结果记录的移动应用程序,(2)一个用于快速诊断测试(RDT)结果解释的人工智能(AI)模型,以及(3)一个可以将所有收集到的数据可视化的web平台组成,允许在AI和用户解释之间存在差异的情况下纠正结果。阿瑟:抗体;Ag:抗原。
这项研究分为2个阶段:首先,训练和验证用于RDTs自动解释的AI算法;其次,开展2项实地研究,评估基于人工智能的系统在现实场景中读取COVID-19抗体和抗原快速检测的性能。
该研究获得了Ramón y Cajal大学医院临床研究伦理委员会的伦理批准(127/21)。
确保标准化的图像采集是开发健壮的人工智能算法的关键步骤。为此,使用TiraSpot移动应用程序(Spotlab)对所有接种的RDT进行了数字化,该应用程序使用一个简单的增强现实系统,在智能手机屏幕上显示具有给定RDT精确几何形状的掩模,从而保证图像质量和图像中RDT的正确定位,帮助用户在制作图片之前正确对齐RDT(移动应用程序的截图在
开发了一种AI算法,可以根据RDT的图片预测测试结果。为此,首先对图像进行预处理,裁剪原始图像以提取包含图像相关部分的感兴趣区域(RDT的条带)。然后,采用图像归一化和对比度增强(对比度有限自适应直方图均衡化方法)来突出微弱波段。最后,将处理过的感兴趣区域引入卷积神经网络(MobileNet V2 [
图像处理管道。使用TiraSpot应用程序获得的原始图像首先被裁剪以提取感兴趣的区域。然后对裁剪后的图像进行预处理,并将其引入卷积神经网络,预测快速诊断测试(RDT)结果。AI:人工智能。
为了生成训练图像数据集,使用了SARS-CoV-2聚合酶链反应试验阳性(2020年3月至5月感染)且酶联免疫吸附试验(ELISA)阳性的患者的12份人类血清。每个血清样品用参比人血清(H5667;Sigma-Aldrich),直到在COVID-19抗体测试中接种,结果呈阴性。对3个检测品牌的每一种稀释剂进行3个重复检测(即:2019-nCoV IgG/IgM快速检测试剂盒,杭州欧泰生物科技有限公司;雅培公司Panbio COVID-19 IgG/IgM快速检测设备;无科COVID-19 IgG/IgM快速检测(武汉无科生物科技有限公司),共接种433支RDTs,其中IgG和IgM均阳性61支;166 IgG阳性,IgM阴性;43例IgG阴性,IgM阳性;IgG和IgM均为164阴性)。此外,12种COVID-19抗原快速检测试剂盒(Panbio COVID-19 Ag快速检测装置,雅培; 6 positive and 6 negative) were also included to train the algorithm to read not only 3-band tests (such as the COVID-19 antibody tests used in this study) but also 2-band RDTs, such as COVID-19 antigen tests. The entire training data set consisted of 3614 images.
为了收集独立的验证数据集,240个独立于用于训练的人血清样本被用于接种720个COVID-19抗体RDTs(每个血清都使用上述品牌进行了三次测试)。样本的选择确保所有可能的结果都能很好地代表数据集(108例IgG和IgM阳性;321 IgG阳性,IgM阴性;27例IgG阴性,IgM阳性;IgG和IgM均为阴性264)。
每个RDT由多个观察者(3到5个)直观地读取,地面真相被建立为来自总分析器的大多数结果。所有血清样本都是在2020年5月至6月期间采集的。
现场研究的工作流程如下:一名卫生专业人员使用应用程序将快速诊断检测数字化,并要求记录检测结果的视觉解释;图像上传到云平台,由AI算法进行处理;卫生专业人员做出的解释与算法得出的解释之间的差异随后由外部卫生专业人员通过平台进行审查。
第一个实地研究使用该系统作为在西班牙马德里的两个疗养院进行的血清流行率研究的一部分。本研究共纳入172名接种疫苗的卫生保健人员;从他们身上取一份手指刺血样本,并接种到SARS-CoV-2快速抗体测试(Roche)中。一名训练有素的护士将快速诊断诊断数字化,并使用应用程序记录结果。
第二项现场验证研究测试了该系统的COVID-19抗原检测(即Panbio COVID-19 Ag快速检测装置,Abbot),由2个条带(即对照和测试)组成。这项研究是在西班牙马德里Ramón y Cajal医院的急诊科进行的,在那里,96个人的鼻拭子接种了抗原测试,并由经验丰富的卫生专业人员使用该应用程序进行数字化。
所有图像都是在非常不同的现实世界条件下获得的,涉及不同的用户,包括不同的环境照明(例如,不同的照明色温和大范围的照明),并使用不同的智能手机型号,从低范围到高范围设备。这样做的目的是开发和验证算法的鲁棒性,在现实生活中可能会发生变化。
该应用程序获取的所有图像都上传到云平台,人工智能算法对照片进行处理,以预测结果解释。如
人工智能算法预测快速诊断测试(RDT)结果相对于人类视觉阅读的性能(1)验证集,(2)读取抗体(Ab) RDTs的现场研究,以及(3)读取抗原(Ag) RDTs时的现场研究。
评估数据 | AUC一个(95%置信区间) | 敏感度(95% CI) | 特异性(95% CI) | 测试中,n | ||||||||
负 | 积极的 | |||||||||||
|
||||||||||||
|
|
|||||||||||
|
|
免疫球蛋白 | 99.5 (98.7 -100) | 96.4 (94.1 - -98.8) | 100年(100 - 100) | 94 | 145 | |||||
|
|
IgM | 92.5 (85.4 - -99.6) | 80.8 (75.8 - -85.8) | 90.7 (87.0 - -94.3) | 184 | 55 | |||||
|
|
|||||||||||
|
|
免疫球蛋白 | 100年(100 - 100) | 100年(100 - 100) | 100年(100 - 100) | One hundred. | 140 | |||||
|
|
IgM | 89.5 (83.7 - -95.2) | 80.0 (74.9 - -85.1) | 88.6 (84.6 - -92.6) | 214 | 26 | |||||
|
|
|||||||||||
|
|
免疫球蛋白 | 99.8 (99.4 -100) | 97.9 (96.1 - -99.7) | 100年(100 - 100) | 96 | 144 | |||||
|
|
IgM | 90.6 (85.0 - -96.1) | 79.6 (74.5 - -84.7) | 86.0 (81.6 - -90.4) | 186 | 54 | |||||
|
|
|||||||||||
|
|
免疫球蛋白 | 99.8 (99.5 -100) | 98.1 (97.1 - -99.1) | 100年(100 - 100) | 290 | 429 | |||||
|
|
IgM | 90.8 (87.4 - -94.3) | 80.0 (77.1 - -82.9) | 89.0 (86.2 - -90.9) | 584 | 135 | |||||
|
||||||||||||
|
|
|||||||||||
|
|
免疫球蛋白 | 100年(100 - 100) | 100年(100 - 100) | 94.4 (92.8 - -96.1) | 18 | 154 | |||||
|
|
IgM | 99.6 (96.0 -100) | 100年(100 - 100) | 95.8 (94.3 - -97.3) | 166 | 6 | |||||
|
||||||||||||
|
|
|||||||||||
|
|
测试 | 100 (100100) | 100 (100100) | 100 (100100) | 68 | 28 |
一个AUC:曲线下面积。
在本研究中使用的172例RDTs中(5例IgG和IgM均阳性;149例IgG阳性,IgM阴性;1例IgG阴性,IgM阳性;IgG和IgM均为阴性的有17例),我们只发现医疗专业人员对检测结果的解释与人工智能算法的解释之间有9个差异。在这9例病例中,有2例由于应用程序的图像采集不正确而被算法错误地分类。剩余的差异病例由第二位专业人员进一步审查,基于人工智能的系统通过确认算法预测的结果,允许对4例最初的健康专业人员解释的结果进行检测和修改。
算法相对于ground truth的总体性能如图所示
关于读取COVID-19抗原快速诊断检测的第二项实地研究,我们发现使用TiraSpot应用程序进行数字化的所有测试(即58个阴性和30个阳性)都被拟议的系统正确解释(
我们描述了一个用于SARS-CoV-2检测的横向流动RDTs阅读和结果解释的应用程序的有用性。结果被发送到一个云平台,以便进行病例识别和确认、质量控制和实时监测。
我们的AI算法表现出出色的性能,特别是在现实生活场景的前瞻性验证以及抗体和抗原检测测试中。该算法在完全没有用于训练目的的RDT品牌中表现良好,使该解决方案适用于其他rddt,包括其他疾病。与以往研究相比[
总之,使用TiraSpot (
人工智能
快速诊断试验
本研究部分由JYLAG基金会(弗里堡,瑞士)资助。DBP由西班牙国家调查机构资助的PTQ2020-011340/AEI/10.13039/501100011033拨款支持。LL得到了西班牙马德里公社的博士预科基金(IND2019/TIC-17167)的支持。
支持本研究结果的原始数据将在通讯作者的合理要求下提供。
DBP、DMM、EA、JMN、JCG、BRH、RC、MLO和MRD构思并设计了这项研究。DBP、DMM、EA、NPP、AM、ED、LL、MRD采集数据。DBP和EA分析了数据。EA、DC和AV负责手机应用和基于网络的工具。DBP、DMM和EA编写了最初的草案。所有作者都对数据进行了解释和修改。
DBP, EA, AM, ED, LL, AV, DC和MLO为Spotlab工作。其余的作者宣称没有竞争利益。