用于患者安全和生物识别的面部识别移动应用程序:设计、开发和验证

介绍

背景

为了患者安全，医院环境中对患者身份的最低要求包括两种不同的患者提供的验证，通常包括患者姓名、患者注册号码或出生日期[1-3.]。每次到任何医院进行检查、治疗或其他保健服务都需要患者身份证明。

患者验证的目的是尽量减少医疗事故和其他对患者安全的风险。据报道，在治疗期间由于缺乏患者身份而发生了几起事件。2014年，一名医生在电话中混淆了2名患者的姓氏，并将患者的名字告诉了外科医生，导致对错误的患者进行了心脏手术[4]。2000年，纽约州卫生部门指责史坦顿岛大学医院未能对其神经外科主任进行监督和纪律处分，据纽约州称，该主任在5年内第二次对患者大脑的错误一侧进行了手术。5]。这是因为缺乏对所有必要信息的确认，在本例中，在左侧小脑上切开之前，需要进行计算机断层扫描(CT)扫描。如果在手术前患者需要的所有信息得到确认，本病例是可以避免的。

此外，1994年，德克萨斯州的一位肺癌患者也出现了类似的错误[6]。外科医生承认他的疏忽取错了肺，手术后一周，病人自己在查看病历后发现了这一点。这些病例可以很容易地被外科医生或其他院系通过识别病人并在手术前检查所有必要的信息来预防。据联合委员会称，2017年报告的哨兵事件数量为400起，这只是实际事件的一小部分[7]。

为了解决目前患者身份验证方面的问题，一些医院采用了更新的技术，例如可扫描的一次性射频识别(RFID)手环，以更精确和更容易地进行患者身份验证[8-11]。由于典型的识别方法是询问患者的姓名;病人号，这是一串复杂的数字;或其他适当的信息，当病人失去知觉或不记得时，是不可能核实的。只需扫描的RFID手环有助于改进验证过程。然而，使用诸如射频识别手镯、卡片、令牌或钥匙等实物的局限性在于，这些实物必须始终呈现并保持安全[10，12，13]。换句话说，如果诸如RFID手镯之类的物理对象丢失或无法扫描，则无法使用该对象进行患者识别。因此，出现了一种不需要实物来验证患者身份的替代方法——生物测量。

生物识别技术指的是基于个体的解剖、生理和/或行为特征来识别个体，这样就可以在没有物理对象的情况下进行识别。生物识别的选择不仅限于指纹扫描仪，还包括手掌扫描仪、虹膜扫描仪等，以核实病人的身份[14，15]。然而，这些措施也有局限性和缺点。指纹采集需要患者每次将手指放在扫描仪上，这可能会使疾病通过与扫描仪的身体接触而传播。通过指纹进行的疾病转移包括肠道和呼吸道病原体感染性微生物转移的风险[16]。此外，昏迷的病人不能自己把手指放在扫描仪上。虽然与其他各种验证方法相比，虹膜扫描似乎是患者验证的理想选择，但其主要缺点是难以扫描无意识患者的虹膜，因此，几乎不可能通过虹膜扫描来验证无意识患者[15，17]。此外，当需要进行外科手术时，患者必须处于麻醉状态，从而使虹膜扫描仪成为一种有效的选择。

面部识别是一种有趣的生物识别技术，它没有上面描述的其他生物识别技术的缺点。面部识别不需要与识别设备进行任何身体接触，即使患者失去知觉也能被识别出来。将从患者获得的面部特征与数据库中存储或预注册的面部记录进行比较，使识别过程能够验证患者。先前使用微软Kinect v2传感器进行患者验证的研究表明，面部特征可以用于患者验证[18]。此外，其他先前的工作表明，CT扫描可以用于面部识别，具有中等高的准确性[19]。然而，在先前的研究中，获取和处理面部信息需要特定的传感器和特定的动作。此外，面部识别系统需要简单而直接的过程，以便在各种情况和医院环境中识别患者。

目标

在这里，我们应用了一个面部识别系统来开发一个医院友好的移动应用程序，用于患者验证。我们对总共62名住院和门诊患者的移动应用程序的性能进行了评估。本研究的目的是看看移动应用程序的性能是否适合在医院设置作为患者验证的替代方法。

方法

面部识别系统嵌入式移动应用程序

我们使用Java (Oracle Corporation)在Eclipse环境下开发了一个基于android的应用程序。由Oezsoft公司提供支持的面部识别引擎被修改为利用Native Development Kit (NDK)库，并通过Java Native Interface在Java中使用。NDK库是在Linux中使用GNU Compiler Collection编译器开发的。手机摄像头捕捉到个人的面部特征，就像用手机拍下个人的脸一样。面部识别引擎从移动摄像头拍摄的二维面部图像中提取27个主要地标。然后，利用三维人脸学习数据，通过提取主要地标来编制三维人像，创建一个可比较的人脸模板，然后注册到手机中。

移动应用界面设计

由于面部数据采集时间短，患者会想要快速移动，所以界面设计要易于使用，医护人员熟悉。app界面包含注册、病历、检查、处方、预约5大记录菜单。

登记

注册部分包括面部信息获取步骤和个人基本信息记录步骤，实现在app环境下对患者进行注册。在移动摄像头工作的情况下，从图像中提取面部数据，以三维矢量形式存储并用作面部模板。姓名、出生日期、性别、电话号码等基本个人信息都被记录在应用程序中。

医疗记录

医疗记录部分包括选择科室、门诊、住院和手术。当每个选项被选中后，医疗记录部分就可以输入了。还选择了检查和处方方案供其他医务人员稍后审查。所有的记录都被分别上传到应用系统和医院的电子病历(EMR)上，因为这两个系统还没有互通。将应用程序中的记录与电子病历中记录的信息进行比较，以查看应用程序中的信息是否保留在整个设施中，并与电子病历相匹配。在对每个机构的每位患者进行面部识别测试后，将app中记录的信息与EMR进行比较，作为未来应用和EMR联锁系统的初步测试。

检查和处方

检查和处方部分显示患者是否已到指定机构进行检查或处方。医疗机构的医务人员可以检查是否进行了检查或处方。例如，检查清单上显示红色标记，表示未进行顺序检查或处方，绿色标记表示已进行顺序检查或处方。

任命

预约让医务人员在应用程序上安排下一个时间表，这样当病人到达下次就诊时，不同的医务人员就可以看到记录。列出的预约选项是门诊、住院、手术和患者将访问的部门列表。

道德声明

该项目已获得首尔国立大学医院机构审查委员会(IRB)的批准(IRB批准号:1701-027-821)。所有涉及人类或人类产品的实验都是在知情同意的情况下进行的，并按照相关的准则和法规进行。每位患者及其父母都被告知面部识别过程，以及如何使用移动面部识别应用程序进行身份验证。在向他们提供了详细的识别信息后，通过签署知情同意书获得了患者及其父母的许可。

门诊病人的研究

首尔大学儿童医院整形外科的医务人员被指示用提供的移动设备拍摄登记的门诊整形患者的面部轮廓。所有患者首先使用常规验证方法进行验证，如匹配患者编号或姓名。然后，一名医务人员在患者入院时进行面部识别登记。当患者进入门诊诊室时，使用人脸识别移动应用程序对患者进行验证。移动应用程序作为验证患者的次要方法，记录患者信息，必要的检查，处方信息，并为患者下一次就诊预约。当患者通过设施转到其他检查或治疗室时，医务人员使用面部识别移动应用程序验证患者并确定所需的检查和/或治疗。记录到医院的次数，这表明每个患者分别通过传统身份识别和面部识别移动应用程序验证的不同设施的数量。每次操作面部识别移动应用程序验证患者时，如果移动应用程序正确识别患者，则记录为验证通过，否则记录为验证失败。计算男性和女性验证数字，这表明每个患者进行面部验证的设施访问的总和。门诊患者共30例，均为儿科患者，年龄在1 ~ 13岁之间。所有患者都是有意识的，因为他们只是为了诊断或术前检查而去医院的。

住院病人的研究

在整形外科计划手术的住院患者和重症监护病房患者也被选中进行面部验证。与上述门诊患者类似，医院教师首先使用常规的患者验证方法对住院患者进行验证，然后在手术室入口处、手术室内和恢复室使用面部识别移动应用程序对住院患者进行验证。在每次面部识别验证后，患者接受治疗、检查或开药。如上所述门诊部分，设施访问和通过或不通过的面部验证号码分别记录。设施访问表明每个病人访问的不同设施的数量。如果患者在设施中被正确识别，则记录为通过验证，如果患者被错误识别，则记录为失败验证。在住院患者中，共有24人到医院进行了日间手术，即住院、手术和康复只需要一天的时间。在其余8名住院患者中，1名被送入重症监护病房。日间手术住院患者到达患者日间手术中心(PDSC)时，记录其面部特征。在进入外科手术室前和手术过程中，医院的一名工作人员确认了患者的号码进行验证，然后使用手机应用进行面部识别。 Nonday-surgery inpatients were registered the day before the operation and tracked on operation day as described for day-surgery patients. As they did not leave the hospital the same day, identification was confirmed in the recovery room after completion of surgery. A total of 32 inpatients were all pediatric patients and were aged between 1 and 17 years. Among 32 inpatients, 31 of them were unconscious in the operating room because of anesthesia. All inpatient facial data were captured when conscious before entering the operating room.

统计分析

总比较试验是基于与顺序登记的患者数量和每个患者的设施访问的一对一匹配来计算的。每个病人的设施访问的总和被认为是真正的价值。在这里，灵敏度是指患者在不同设施中正确匹配的百分比(真阳性率)。特异性是指与所有以前登记的患者不正确匹配的百分比(真阴性值)。灵敏度和特异度计算如下:

敏感度=(真阳性)/(真阳性+假阴性)(1)

特异性=(真阴性)/(真阴性+假阳性)(2)

结果

移动应用开发

在三星Galaxy Note 3上，这款手机应用能够在0.5秒内捕捉面部特征并进行面部识别。面部识别验证患者的最小匹配百分比设置为95%。最小的面部宽度和虹膜之间的长度被设置为30像素。可识别的最大垂直和水平面部姿势角度分别为15度和40度。

在验证患者时，将新提取的面部图像与初始存储的面部模板进行比较。如果两个模板之间的相似度超过95%，则面部识别引擎将图像识别为属于同一患者。在识别患者时，该应用程序计算模板的三维重新定位地标之间的欧几里得距离，并权衡眼睛和鼻子的距离。在首尔国立大学儿童医院测试的面部识别手机应用程序的准确率为99%。

人脸识别引擎支持Android、IOS、Embedded Linux、Windows、IBM AIX和Sun Solaris操作系统。由于面部模板尺寸很小，可以存储在安全的服务器中，并且可以将模板的副本存储在移动设备中以供离线使用。面部识别应用流程概述如图所示图1。当患者首次登记时，移动摄像头捕获患者的面部图像，面部识别引擎创建并存储面部模板。然后，当其他机构需要对患者进行识别时，面部识别引擎捕获患者的面部图像，生成新的面部模板，并将输入(新生成的面部模板)与注册数据(最初存储的面部模板)进行比较。人脸识别成功识别患者后，输出显示患者的记录，并可以编辑患者的详细信息。详细的医院范围内的研究和应用程序的设计将在下面的部分中描述。

‎ 查看此图

门诊病人的研究

共登记及追踪30名医院门诊病人(图2和3.）.图2和3.演示患者注册过程和面部识别过程。病人的登记需要一个捕捉病人面部信息的初始过程。在应用程序主屏幕底部有一个注册按钮(图2）.要注册患者的面部数据，需要输入患者编号、姓名、出生日期和电话号码，如图2所示图2。捕获患者的面部数据和注册患者的面部图像示例显示在图2。

跟踪患者需要捕获患者的面部图像，以便与注册数据进行比较。app主界面右上角有一个拍照按钮(图3）.捕获患者面部数据并将输入数据与注册数据进行比较的步骤如图所示图3(见中心)。最后一张图片图3是一个成功识别患者的示例屏幕。

病人的平均年龄是5岁因为这项研究是在儿童医院进行的主要的整形手术是矫正烧伤，出生缺陷等。每位患者平均访问了4家不同的医院设施，并使用面部识别移动应用程序(表1）.

‎ 查看此图

‎ 查看此图

‎ 查看此图

在访问不同的机构时，所有30名患者都通过了面部识别系统的验证，图像被识别为正确的都被捕获并单独存储在一个安全的硬盘里。门诊病人访问不同设施的例子和使用面部识别系统验证患者时捕获的图像显示在图4。

预约的患者检查和治疗也会被记录下来，并上传到数据库，这样医院工作人员就可以确定患者是否得到了适当的治疗或检查。如图所示图5，绿色表示医院工作人员确认检查成功;x线图像，全血细胞计数数据和心电图数据显示在这里作为记录的例子。

预约记录也在应用程序中更新，以方便安排和验证未来的访问。该记录包括住院、门诊、科室和日期选项(图6）.将应用程序中记录的所有信息与EMR进行对比，表明之前记录的信息可以在人脸识别过程后保存在其他地方，并且可以在未来的EMR互联系统中使用。

住院病人的研究

共登记及追踪32名住院病人(图2和3.）.患者的平均年龄为5岁，原因与上述门诊部分相同。在手术室，32名住院患者中有31人在麻醉状态下通过移动面部识别应用程序进行了识别。此外，该应用程序还用于确认手术细节。在康复期间，日间手术住院患者通过面部识别移动应用程序进行验证，并根据应用程序的指示在康复室进行治疗或处方。当患者准备出院时，在PDSC再次通过面部识别移动应用程序确认其身份。每位患者在进入外科手术室前，面部特征登记后平均识别4次，记录为一次就诊。单个无法识别的患者在手术后无法识别，因为患者面部覆盖了压缩绷带(表2）.

在32名住院患者中，有31名患者在接受面部手术后，仍通过面部识别移动应用程序进行识别和验证。一个住院病人访问不同设施的例子和使用面部识别系统验证病人时捕获的图像显示在图7。

‎ 查看此图

‎ 查看此图

‎ 查看此图

统计分析

由于患者总数为62例，每个患者就诊次数为2 ~ 5次，基于一对多匹配的个体比较试验总数为8899例。如图所示表1和2在美国，每个病人到医院的总次数为286次。灵敏度为99.7%(285/286)，特异度为100.00%(8613/8613)，准确度为99.99%(8898/8899)。

讨论

主要研究结果

在考虑患者安全时，由于患者验证失败而导致的医疗事故是一个关键问题，因为它可能导致在错误的身体部位进行手术和其他进一步的治疗。据估计，每年有多达98,000人死于医疗事故[20.]。因此，在医院的每一个程序之前，准确和精确的病人识别是必不可少的[21，22]。传统的患者身份识别方法包括患者的姓名、出生日期或医院提供的患者号码验证。在考虑患者安全时，这种方法不够安全，无法进行患者验证[23，24]。

为了减轻当前对患者安全的风险，已经采用了物理对象和生物识别技术，如RFID手环、指纹扫描仪和虹膜扫描仪，但每种方法都有重要的局限性。实物必须始终存在并保持安全，以成功确认患者的身份[10，25]。指纹扫描仪可能会促进感染的传播，而虹膜扫描仪则不能用于昏迷的病人[26，27]。如果这些限制得到解决，生物识别技术是在医院对患者验证的最低要求下进行患者验证的最可靠替代方案之一。面部识别是另一种很有前途的患者验证生物识别方法。它不需要任何身体接触，甚至可以在病人失去意识的情况下使用。

我们通过移动应用程序实现了面部识别系统，患者验证的准确率达到99.99%。如果面部识别应用程序没有在手术后用压缩绷带覆盖面部的患者身上失败，它的准确性将达到100%。除了这个案例，面部识别移动应用程序能够识别和验证所有其他面部手术患者。此外，通过面部识别移动应用程序对手术室麻醉下的患者进行识别和验证。

对病人和医院工作人员来说，传统的核对过程，如叫病人的名字、用眼睛核对病人编号或确认出生日期，既耗时又不理想地利用人力资源[23]。此外，在医院环境中经常发生的情况下，要求患者提供患者编号，要求他们将手指放在指纹扫描仪上，或要求用虹膜扫描仪扫描他们的眼睛是不可能的。相比之下，移动面部识别系统可以随时对随机患者进行验证，只需给患者拍照(无论有意识还是无意识)，而无需向患者提出具体要求。在严重的情况下，如在手术室中，患者验证是必要的，面部识别系统提供了一种快速而简单的方法来识别患者，特别是因为移动应用系统不需要像扫描仪这样占用空间和昂贵的设备。通过手机应用程序，面部识别技术与其他生物识别技术相比，是一种方便、安全的替代方案，因为该应用程序只需要一部手机。因此，本文描述的面部识别移动应用程序易于访问，并且是医院环境中准确的患者识别工具。

限制

在距离的情况下，这与相机捕捉到的面部大小有关。本研究的人脸识别app，摄像头分辨率固定为480×720像素，从手机的使用形式来看，是考虑到距离小于60 cm的情况而开发的。但是，距离是可以调节的，如果在屏幕上检测到的人脸的大小超过120×120像素，则可以进行人脸识别。例如，我们将开发的应用程序应用到纽约时代广场的互动广告中，应用程序可以通过高分辨率变焦相机识别70米外的人的脸，并过滤掉参与者。正如前面提到的例子，更好的摄像头可以调节距离，但与此同时，当图像分辨率高时，人脸识别需要更多的中央处理器(CPU)资源。因此，由于手机的CPU比个人电脑慢，我们在本研究中将人脸固定在480×720分辨率，目标是在0.5秒内识别人脸。

正如其他有关面部识别的研究所述，不同程度的光线会降低面部识别过程的准确性[18]。目前，我们的面部识别系统也受到光照的限制。当在明亮的光线下记录注册的面部特征时，患者在较暗的地方或光线从不同角度进入的地方识别，造成阴影，导致验证延迟，需要长达5分钟的光线校正以匹配数据库中的图像。此外，不可能将系统连接到EMR，因为该应用程序仅用于测试目的。

与前期工作比较

以前的研究已经将人脸识别技术用于各种目的，主要集中在识别个人。然而，其中一个限制是它需要特定的传感器和运动来用于患者验证[18]。在医院环境中，识别过程应该简单而有效，因为患者可能处于各种情况，例如处于无意识状态。面部识别移动系统不需要通过转动或倾斜头部等特定动作来识别患者，因此只需要一部手机就可以进行有效且简单的识别。

人脸识别研究的另一个限制是处理人脸识别的成本。其他研究表明，CT扫描产生的面部图像可以准确地19]。然而，提取患者面部特征的过程和CT扫描的成本不足以满足患者验证的目的。尽管CT扫描的分辨率比移动摄像头更高，但移动面部识别系统的简单性和成本效益更适合患者验证过程。

未来的研究

需要进一步的研究来解决应用程序所遭受的光敏感性问题，并更准确地评估其在医院患者验证中的性能，并将应用程序与医院EMR连接起来，以提高医院工作人员的可访问性。此外，如果开发一种全院范围的基于固定摄像头的面部识别系统作为患者验证方法，它可以用作监控摄像头，监控和验证进入医院各个设施的患者。

结论

这里描述的面部识别移动应用程序是为患者验证目的而开发的。这款开发的应用包含适合医院使用的5个主要部分:注册、医疗记录、检查、处方和预约。医院工作人员将门诊病人和住院病人的面部特征录入人脸识别数据库。在医院环境中实施面部识别移动应用程序被证明是一种合适的替代患者验证方法，准确率为99%。一旦面部识别系统与电子病历完全连接，诊所和医院将完全可以使用该系统进行患者验证。