资源有限地区基于智能手机成像的一步式简化儿童视力筛查解决方案:设计和初步现场评估

简介

高度近视和弱视是造成视力损害的两大原因，其根源和特征均源于儿童时期[1，2］．与青光眼和黄斑退化等其他视力疾病相比，这两种疾病的主要危险因素更容易诊断[3.]:屈光不正可用于近视和弱视[4］．此外，对于弱视，斜视的存在可以观察[5］．此外，这些疾病在早期阶段对简单且具有成本效益的干预措施的响应性[6-8使得筛查年轻人更有价值。然而，由于早期的影响是主观的，孩子们可能不会与父母讨论这些问题，从而错过了接受具有成本效益的治疗的机会。这在发展中地区尤其令人担忧，在这些地区，父母的近视率很低，因此对近视的风险认识不足，而高生育率又使父母的照顾分散得很分散[9，10］．事实上，近视率在全球范围内迅速上升，不仅在东亚，而且在发达国家和所有种族群体中都很猖獗。11］．在早期阶段，轻度近视会扰乱儿童的日常生活，损害儿童的学习能力。严重近视眼发展到后期，极有可能导致视网膜脱离，从而导致失明和反复出现的并发症[12]，以及其他[13］．弱视一般不会导致完全失明，但成年后治疗效果不佳。

2019年，中国中央政府宣布了指导方针，将对1.85亿幼儿园至12年级学生进行年度视力筛查，重点是近视。推荐的程序包括一个视力表和自动折射检查。然而，在实践中，一些问题限制了实施规模。首先，经过系统培训的验光师(合格的验光师)的短缺和分布不均在几年内很难改善[14］．其次，物理进入偏远地区是困难和耗时的，特别是高精度光学测量设备可能无法忍受运输。最后，由于效益需要十年或更长的时间才能实现，地方政府每年对每位学生投资10至20美元的计划是令人望而却步的。因此，虽然试点项目在较富裕的城市进行，但其他地区，尤其是偏远地区，并没有跟进。

河南省洛阳市是中国人口最多但欠发达的省份之一，该市率先试验了高效、可扩展的视力筛查项目。虽然互联网系统和半自动化的工作流程在市中心和郊区城镇取得了预期效果，但由于运输技术人员和设备以覆盖稀疏人口，覆盖农村地区的成本远远超过预算。尽管学术界已经提出并评估了一些轻量级替代方案，但它们存在一个或多个缺点:对特定设备的依赖，缺乏健壮性，以及缺乏实际的工作流集成[15-17］．例如，GoCheck Kids [18-20.]是一款公认的商业产品，需要特定的iPhone型号。

在本研究中，开发并评估了一种针对资源有限地区的新型光筛选解决方案。使用基于智能手机的自动赫施伯格测试和光折光，可以当场检测斜视、近视和屈光参差的风险水平。在深度学习和图像处理算法的支持下，测量和分析过程是完全自动化和可靠的。通过将专用设备替换为广泛使用的智能手机，进行类似于正常拍照的检查，不需要运输设备或训练有素的技术人员。按照简化的工作流程，约200名学生可以通过一个由1名指导教师和1名咨询验光师组成的紧凑团队进行筛选和登记，该团队配备了4部主流智能手机和农村学校可用的设备。评价实验表明，在小学生中筛选准确率较高。

方法

自动赫施伯格试验原理和智能手机光难熔材料

斜视可大致定义为双眼轴之间的错位，或两只眼睛似乎看向不同的方向[1］．在一张随机的照片中，这样的凝视方向可能很少被准确估计;因此，一张照片不能可靠地确定受试者是否有斜视风险。然而，一个简单的点光源及其引起的角膜发光反射会使问题变得明显。

虽然“角膜发光反射”一词在技术上并不准确，而且光学模型也很复杂[21，22]时，点光源的角膜发光反射的远距离图像可以近似为从角膜表面反射的亮点。同时，眼缘中心的相对位置大致可以反映出该眼相对于光源的注视方向[15]，它附着在角膜上，见图1．结合这两种模型，通过在足够距离上用点式手电筒拍摄受试者的面部照片，并比较每个虹膜中心和上面亮点的相对位置，就可以实现简化的自动赫施伯格测试[22]，详见图2．

‎ 查看此图

‎ 查看此图

原则上，智能手机光敏材料与自动赫施伯格测试有相当大的相似之处，但有一点不同。它们都是通过分析光源照射眼睛的反射模式来工作的。然而，在智能手机的光难降解性中，反射发生在眼底而不是角膜上，并且该模式主要与屈光不正有关，而不是与眼轴有关，如图所示图2．由于没有屈光误差，光源在眼底的图像将在其光学共轭平面上，因此，它将按照完全相同的路径反射回来，几乎对相机是看不见的。由于屈光不正而散焦，光线会扩散到眼底，并被各个方向反射，因此被相机部分捕捉到。这通常被称为红色反射[23］．

此外，瞳孔的大小也会影响这两种现象。虽然它不与角膜的发光反射相互作用，但扩大的瞳孔允许更多的光进入玻璃体腔[24]从而使眼底的观察角度更宽[25］．因此，当瞳孔收缩到最小尺寸时，眼底反射被抑制，用于高质量的自动赫施伯格测试。当瞳孔大时，眼底反射突出，能较好地隔离对角膜发光反射的干扰。在设计结合两个测试的工作流时，这是一个关键的考虑因素。

自动赫施伯格试验的数值处理如下。从捕获的图像中提取角膜缘和角膜发光反射斑的位置后，测量角膜发光反射斑中心相对于相应角膜缘中心的水平和垂直偏移量为Δx_lΔy_l左眼和Δx_RΔy_R分别是右眼。这些偏移量按照计算机视觉惯例以像素和符号来测量，如图所示图3(上图)。假设正面平面像素尺度为α毫米每像素，眼球直径为dMm，相机和闪光灯之间的间隙可以忽略，每只眼睛离相机/闪光灯眼轴的轴向偏差如下:

Θ_水平,左= tan¹(2αΔx_l/天)

Θ_{水平,对吧}= tan¹(2αΔx_R/天)

Θ_垂直,左= tan¹(2αΔy_l/天)

Θ_{垂直的,对吧}= tan¹(2αΔy_R/天)

在谭¹()为反切函数。在这个解中，d无法测量，因此设定为平均20毫米[26］．综上所述，以角度为单位测量的水平和垂直双眼轴偏差如下:

Θ_水平=Θ_水平,左——Θ_{水平,对吧}

= tan¹(2αΔx_l/ d)谭¹(2αΔx_R/天)

Θ_垂直=Θ_垂直,左——Θ_{垂直的,对吧}

= tan¹(2αΔy_l/ d)谭¹(2αΔy_R/天)

直观上，显著正负值θ_水平示外斜视，见图3(上图)和内斜视(中图)。显著非零θ_水平表示垂直斜视，如图3(上下图)。

‎ 查看此图

红光反射现象是实现光难处理的基础，很难用点光源和未校准的参数稳健地量化[27］．从检查者的角度来看，假设光源位于相机的左侧，从瞳孔左侧升起的红新月表示高度近视，而从右侧升起的红新月表示高度远视，如图所示图4．新月的存在可以合理可靠地检测到，作为客观和合格的筛选信号。然而，新月宽度与严重程度的关系需要智能手机特定型号的校准，可能不适用于所有考生;因此，它只能用作参考。此外，由于光源点的偏心，屈光不正低于阈值或瞳孔收缩都不会引起红色反射[25，27)(不仔细检查很难发现)。此外，严重近视和远视都会导致瞳孔完全亮起，因此无法区分。

‎ 查看此图

核心人工智能和图像处理算法

虽然基于智能手机的自动赫施伯格测试和光折射解决方案与专用设备共享相同的角膜发光反射和红色反射原理，但它缺乏重要的功能，包括不可见和结构化光源、距离传感器和校准成像系统。尽管考试的准确性不可避免地受到影响，但该解决方案在筛选和测量自动化方面的适用性仍然可以通过软件实现。在获取的图像中，依次通过面部地标识别检测头部倾斜和眼睛位置，轮廓检测估计角膜缘中心，形状拟合估计角膜发光反射和红色反射模式，快速响应代码的图像分析估计像素的正面平面尺度。需要注意的是，首先对自动赫施伯格测试图像进行处理，然后对光难处理图像进行处理，因为前者具有更高的信噪比，这将在讨论部分进行解释。

头部倾斜和眼睛位置识别

建议的解决方案集成了OpenFace [28]库用于面部标记检测。这个基于深度学习的库不仅可以生成面部各部分的关键点坐标，还可以估计头部手势和注视方向，这可能会在以后的版本中支持自动考生注意力分析和其他筛选质量控制。然而，这些关键点的定位没有达到像素级的精度，因此需要进一步处理。

使用OpenFace的椭圆轮廓上的关键点，高宽比低于η=0.25阈值的闭眼可以被拒绝。在双眼睁开的图像中，提取图像的局部补丁，用于后期的硬编码图像处理。记录头部倾斜角度，以便在后续处理中校正坐标。

异色边缘检测

理想情况下，边缘是一个环，外面是白色的，里面是黑色的。然而，在照片中，过渡可能不清晰，部分可能被掩盖。本解决方案中的边缘检测算法通过对每只眼睛执行以下步骤来解决这两个问题。

首先，从与其他皮肤区域的色调和饱和度相匹配的附近皮肤背景中提取感兴趣的巩膜-角膜缘-虹膜区域。二、IsoData自动阈值[29]应用于感兴趣区域的直方图，以估计明亮巩膜和深色虹膜之间的边界。第三，经典的曲线Hough变换[30.]，以在不考虑覆盖部分的情况下细化估计的左右边界曲线。最后，利用从自动Hirschberg测试图像中估计的巩膜、虹膜之间的颜色对比度和边缘大小，通过相同半径的Hough变换可以检测到相应光折光图像中的边缘。变换不是覆盖估计的边界，而是优化以最大化轮廓对比度。

角膜发光反射与红色反射模式分析

在被检测的边缘，原始的角膜发光反射像素被检测为所有通道上最大强度的像素簇，而原始的新月像素被过滤为(a)红色通道比绿色和蓝色通道的总和更亮，(b)亮度超过边缘或红色通道饱和的所有像素中值的两倍以上。在原角膜发光反射像素之间拟合一个内切圆，圆心表示角膜发光反射点。在原始红弯曲像素之间拟合一个限定的椭圆，其宽度用于估计屈光不正的严重程度。在本实验中，宽度超过1mm被认为是折光误差的指标。这些模式拟合的选择与以前的研究略有不同，因为初步研究表明，它们对业余用户的低图像质量更稳健。

正面像素分辨率尺度估计

在这个解决方案中，精确的瞳孔间距离测量后续眼镜框的选择。将智能手机贴在考生的额头上，用其物理尺寸编码的快速反应码作为参考尺度。由于大多数智能手机上都有屏幕物理分辨率的应用程序编程接口，它提供了与专用工具相同的功能，如带有标记的特殊玻璃框架[17)但它是随处可得的。与其他日常物品工具(如信用卡或尺子)相比，自发光屏幕上的结构化图像模式保证了高对比度，这大大提高了准确性和稳健性。

解决方案设计指南和系统概要

作为现有的高质量、全服务项目的替代解决方案，该项目包括由合格的验光师进行的自动验光检查和程序，拟议的设置已经过多次修改，适用于资源有限的农村学校。

首先，基本技术可能涵盖斜视、近视和屈光参差风险的定性而非定量分析。尽管早期的研究证实，这种技术可以产生可靠的定量结果，但它严格限于特定的智能手机型号，普通用户很少能使用到。由于目标是筛选而不是诊断，因此易用性和可访问性比必要的性能水平更高。

第二，工作流程应该服务于4岁的孩子。虽然智能手机照片筛选应用于幼儿已被证明是可行的[18]，他们无法理解指令，不愿配合，降低了测量成功的机会，从而延长了测量时间。因此，咨询儿科医生，优化幼儿心理特点的工作流程。

第三，考试程序应由学校教师在全科医生(GP)的松散监督下执行，只进行远程培训，但每个孩子的考试时间不应超过1分钟。尽管实施这些程序可能不需要专业知识，但法律上的考虑和当地的习俗需要一名全科医生来完成这项工作，他会在相隔几个小时车程的村庄服务。此外，由全科医生提供的现场咨询必须是程序的一部分。

最后，数据分析应该主要是自动的，几乎是即时的。在中国，验光远程会诊人手不足，很少有验光师有资格解读照片筛选图像。对筛选结果进行现场面对面的反馈，不仅可以建立信任，减轻晚上只有几个小时空闲时间的农民父母打电话跟进的负担，还为提供其他服务创造了机会，例如分发预制眼镜。

遵循指南和基于智能手机的自动赫施伯格测试和光折光原理，该系统概述在图5．在前面的小节中讨论了核心图像处理算法。精简的工作流程将在下一小节中解释。

‎ 查看此图

简化的工作流与一步测量

图6显示一个典型的放映室设置。两个孩子背靠背坐着，老师站在旁边(没有插图)。深色窗帘挂在孩子们之间和智能手机后面，前者是为了尽量减少两个平行测试之间的干扰，后者是作为投影仪屏幕，下面将介绍。

‎ 查看此图

图7从照明和图像采集的角度说明了考试时间线，特别是相机与智能手机上的闪光灯和投影到孩子面前的窗帘上的视频的协调。被叫到时，孩子们走进房间坐下，然后开始观看投影在前面窗帘上的视频，在整个考试过程中，视频的亮度各不相同。在正常强度的几秒钟后，视频变暗，使儿童的眼睛顺利适应黑暗的环境，从而扩大他们的瞳孔，以获得更准确的测量。在视频亮度达到最低5秒后，诱发瞳孔明显扩张[31]，开始成像。使用智能手机摄像头，在触发最大强度闪光的过程中，会录制一段短视频。接下来的5秒闪光逐渐变亮，在手电筒模式下以可控的方式收缩瞳孔，用另一个最大强度的闪光爆发捕获静止图像，并完成对一个孩子的原始数据采集。由于所有设备都保持原位，孩子坐着不动，通过自动赫施伯格测试和光折光，不需要干预，这被认为是一步测量。视频曝光最大的第一帧和静止图像分别用于红色反射和角膜发光反射模式分析，并在讨论部分解释其原因。

‎ 查看此图

图8说明以精简的方式为3个孩子服务的工作流程。一接到电话，孩子就会进入黑暗的房间，坐下来，老师则会在智能手机上输入孩子的个人信息。在适应期之后，孩子被给予智能手机，并被指示将其直接放在他们的前额前，而图像采集过程开始在捕捉智能手机上，如上所述。在收到自动分析的结果后，全科医生或护士将结果解释给老师。

‎ 查看此图

临床评价体系

为了在现实环境中评估该解决方案，9月1日至10月15日在河南洛阳进行了实验和体检项目。从两所学校中选取了100名年龄平均在8到10岁之间的学生，其中20人被老师怀疑患有斜视，其余的人在他们的同学中随机选择。实验在学校医务室进行，由筛选小组的验光师或学校护士直接监督。用于捕捉和分析数据的智能手机包括1部iPhone 5s(苹果公司)，1部荣耀8(华为集团控股有限公司)和1部小米6(小米Corp)，当时都是低端或过时的型号。

结果

数据采集效率

100名被筛选的学生在2轮内全部成功完成了数据采集过程，其中87人一次性通过。失败的原因是随机眨眼。无论个别程序的成败，流线型的工作流程在图8保持匀速，每个时段平均花费19秒。也就是说，在1小时内，只有1名指导老师和一名咨询验光师或护士，对近200名学生进行了检查。在播放动画放映时，所有学生都表现出了很高的依从性，很少有人抱怨考试时间或闪光。在预定的实验之外，一些6岁的学生自愿参加，在实验过程中没有人表现出困惑或注意力不集中。

筛选实验结果

在通过智能手机测试后，被筛选出来的学生还参加了黄金标准的验光考试，这些结果被记录为事实。斜视、近视和屈光参差的金标准阳性阈值分别至少为15Δ，至少为-0.5D，至少差为2D。新月宽度至少1毫米，相对视角差10°，新月宽度差至少1毫米，分别为筛查阳性。使用真阳性(TP)、假阳性(FP)、真阴性(TN)和假阴性(FN)的原始计数，统计指标的准确性、敏感性和特异性定义如下:

精度= (TP + TN) / (TP + TN + FP + FN)

敏感性= TP / (TP + FN)

特异性= TN / (TN + FP)

实验的原始计数总结在图9．由于近视是以每只眼睛为单位进行诊断的，因此其总数是被检查人数的两倍。还应注意的是，斜视试验中的4个假阴性均归因于赫施伯格试验在发现隐性斜视方面的弱点。统计指标列于表中表1．

‎ 查看此图

讨论

当前的限制

虽然该方案在资源有限地区筛查儿童时产生了令人满意的准确性和高效率，但在后续研究中需要进行重大改进。首先，智能手机的闪光灯机制会产生不必要的反效果。现代智能手机中使用的闪光灯发光二极管专门设计为在两种模式下工作:一种是在短时间内消耗非常高的功率，另一种是持续消耗有限的功率。通过固定曝光时间来控制运动模糊，使用前一种模式降低了相机对光或模拟增益的灵敏度，从而提高了自动赫施伯格测试和红反射图像的信噪比。然而，现代智能手机使用预闪来诱导瞳孔收缩，以抑制红色反射现象，这一现象通常被称为红眼效应。为了避免这种情况，实现应用程序将静态图像应用程序编程接口替换为从视频中提取的第一个强烈照明帧。然而，这一帧通常不会被最高强度的闪光照亮，因此它遭受了降低的信噪比。如果未来版本的智能手机摄像头控制提供更灵活的控制，图像质量可能会得到改善。

其次，实现软件采用非广义边缘检测算法。这种方法在中国学生身上非常有效，部分原因是他们的角膜缘是黑色的，与白色的巩膜形成鲜明对比。然而，在一些戴彩色隐形眼镜的年龄较大的学生身上，图像的低信噪比偶尔会导致检测错误。

未来可能的工作

除了已知的限制所提出解决方案性能的因素外，还计划进一步探索其他需要改进的领域。首先，关于智能手机和投影仪之间的协调:在当前版本中，两者是独立运行的，需要操作员进行同步。未来的版本可能包括智能手机端的自动同步，通过检测投影仪的预定义模式，如编码为颜色变化的信息。

第二个有趣的问题是考试期间播放的视频。一些片段似乎包含了太多的活动，让一些年轻的学生无法在屏幕上保持固定的视线，导致视觉轴发生不必要的变化。一些背景音乐似乎更能迅速吸引学生的注意力。然而，详细的比较和分析超出了本初步研究的范围，因此将留待后续研究。

未来工作的最后一个领域是在更大的规模和不同的设置下进行实验。本文所报道的实验仅限于2所城市学校，设备和人员执行能力可能与农村学校有所不同。

结论

在本文中，我们针对资源有限的地区提出了一种有效且高效的基于智能手机的儿童视力筛查解决方案，并进行了实施和评估。在一间黑暗的房间里，考生观看由程序控制强度投射到黑暗窗帘屏幕上的动画片，而窗帘前的智能手机则运行测量程序。智能手机的闪光灯和相机分别作为偏心点光源和图像传感器，遵循自动赫施伯格测试和光难熔原理。在获得的图像中，前额平面的分辨率尺度由考生前额前的另一部智能手机上显示的个人信息编码快速响应代码自动校准。使用深度学习模型估计考生的头部手势和眼睛位置。通过相应的算法检测角膜边缘区域、瞳孔间距离、角膜发光反射点和红色反射区域，得出斜视、近视和屈光参差的风险水平。

通过将工作流程分成信息输入、图像获取、自动分析、解读、咨询3部分，简化了筛选流程，1名全科医生监督1名教师每小时可对200名儿童进行筛选、自动诊断、现场咨询。考官几乎不需要培训，而设备，包括无型号的主流智能手机，一般学校都能买到。在对100名8至10岁学生的评估中，所提出的解决方案的高通量和筛选准确性得到了参与的验光师的验证和认可。