基于全景图像和自动化优化的牙相关疾病检测系统开发研究

介绍

医疗数据和人工智能在医疗保健中的应用

最近的几项研究[1-3.]为电子医疗保健使用了各种医疗数据，但他们只是在现有的医疗设备上增加了数字和网络功能，治疗中包括的远程服务尚未使用。此外，虽然eHealth care通过医患联网功能处理医疗数据和信息，但在现实中，患者无法获取和确认很多信息。虽然已经积累了大量的医学数据，但利用这些数据为患者提供信息和发现新的实际意义是有限的。随着医疗数据的重要性日益增加，临床数据仓库已经建立，以研究如何利用各种医疗数据，并通过提供公共和私人医疗数据，使患者更容易地找到医疗信息[4]。关于大数据和人工智能(AI)在医学中的应用的各种研究表明，北卡罗来纳大学医疗保健中心通过使用内容分析和自然语言处理进行非结构化医疗数据分析，并通过机器阅读和自动处理算法自动提取乳房x光检查和子宫颈抹片检查中的异常部位，大大减少了医务人员的时间和精力[5]。在初步治疗后，由临床专业人员远程诊断病人的病情，向他们提供医疗信息，以管理他们的疾病[6]。最近，研究了一种方法，使用户可以根据自己的经验轻松地使用各种医疗数据，并在将其应用于医疗系统时通过最佳信息传递来帮助他们做出决策[7]。利用医疗数据和人工智能，患者可以提前预防疾病，并通过获取自己的病情和医疗信息来增加治疗计划的自主权。此外，利用医疗数据的人工智能可以帮助医生进行治疗，减少医疗时间和成本。

利用图像诊断龋齿

龋齿是通过录像和x光片诊断的，研究[8，9]已经展示了对视频和图像的处理，以更准确地诊断龋齿。2003年，Møystad等[10在对发生蛀牙的区域以及由于领土问题而无法使用全景x射线和计算机断层扫描系统(Soredex医疗系统)的区域进行x射线照相时，通过使用预增强的Digora存储荧光粉图像诊断龋齿。2017年，Veena Divya等人[11利用全景图像的对比度图，控制明暗部分的对比度，使模糊的全景图像清晰，从而诊断龋齿。同年，辛格和塞加尔[12]在全景图像中增加了光对比度，以提高清晰度，并通过探索图像中对应的龋齿的黑暗区域来诊断龋齿。2019年，Kale等人[13研究表明，母亲们可以通过智能手机上的地图集，通过正常和蛀牙的照片来诊断龋齿。2020年，拉普拉斯滤波反向传播算法被用于龋齿的学习和诊断[14]。2021年，Bayraktar和Ayan [15利用图像深度学习算法诊断龋齿;该研究使用了1000个放射影像牙齿数据点进行学习和验证。由专业牙医对龋齿进行标记，并检查前磨牙和磨牙的龋齿[15]。

龋齿诊断的重要性

龋齿是世界上最常见的慢性疾病之一。与其他全身性疾病一样，口腔疾病被认为是严重疾病，并于2011年被世界卫生组织列为严重非传染性疾病。牙齿是人体最重要的器官之一，而蛀牙是导致牙齿疾病的主要原因之一[16]。蛀牙的形成和发展分为四个阶段，第一阶段开始出现一个小黑点，第二阶段是牙釉质腐烂，第三阶段是神经损伤，第四阶段是牙髓损伤、脓液和炎症。在第1和第2阶段，用简单的治疗可以很容易地修复蛀牙;然而，如果最初的第一阶段和第二阶段没有被判断出来或被忽视，蛀牙就会发展到第三阶段和第四阶段。这会导致牙痛、炎症和急性骨髓炎等并发症，骨髓炎会破坏牙齿周围的骨骼。因此，预防和处理蛀牙是非常重要的。透过初步诊断，妥善处理及及早拔除蛀牙，是保持牙齿健康的重要因素[17]。然而，如果在龋齿的早期阶段没有临床症状，人们往往不太重视。此外，由于牙科治疗通常是为了迅速解决不舒服的地方，牙医也可能在没有诊断的情况下忽略以下任何一种情况:发生在牙齿之间的近端龋齿;根尖周透光性，从根尖开始;还有残留在骨头里的根。因此，为了解决这一问题，人工智能可以帮助牙医诊断早期龋齿和其他可能难以通过全景图像视觉判断的牙齿相关疾病。通过该系统，牙医和患者可以缩短治疗计划时间，在牙齿问题恶化之前轻松治疗牙齿问题，患者可以通过预防未来可能发生的疾病来识别牙齿问题，提高生活质量。

虽然在牙科领域已经研究了各种简单易行的人工智能诊断方法，但存在局限性[18在牙切面准确诊断龋齿方面的作用。由于以前的模型是用来诊断整个牙齿的龋齿，因此在诊断需要精确诊断的龋齿方面存在局限性，例如近端龋齿和根端龋齿。本研究旨在通过图像深度学习模型学习和诊断5种牙齿相关疾病(冠状龋或缺损、近端龋、宫颈龋或磨损、根尖周放射率、残根)，通过减少治疗计划时间来辅助牙医诊断。

方法

数据收集

由于本研究评估了常用牙科影像学诊断的5种牙相关疾病(冠状龋或缺损、近端龋、宫颈龋或磨损、根尖周放射率、残根)，因此训练数据是通过收集和标记牙齿相关疾病的全景图像来生成的。本研究使用了2001年至2021年50家牙科诊所提供的全景图像。本研究收集了韩国30家牙科医院的数据，并进行了匿名处理。在匿名的性别中，男性有3702人，女性有3783人，总共有2515人身份不明。按年龄组划分的人口分布不包括青少年;20多岁1721人、30多岁956人、40多岁1134人、50多岁1351人、60多岁以上1914人、身份不明2934人。

共使用以下5种牙齿相关疾病的一种或多种全景图像10000张进行标记:冠状龋病或缺损图像4206张，近端龋病图像4478张，宫颈龋病或磨损图像6920张，根尖周放射率图像8290张，残根图像1446张。如图所示图1和表1在牙齿的冠状部分，冠状龋或缺陷显示缺陷或放射透光率与正常相比缺乏密度，近端龋在牙齿之间的邻近表面显示放射透光率与正常相比缺乏密度，而在牙齿的颈部区域，龋齿或磨损显示放射透光率与正常相比缺乏密度。此外，根尖周放射透光密度低于正常放射透光密度，残根意味着冠状部分完全消失，只剩下根部分。每个标签都是通过将这些发现集中在全景图像上而创建的。我们使用了10,000张韩国男性和女性的图像来标记每种与牙齿相关的疾病。具有20年以上牙科成像经验的放射学专家进行了标记。放射科专家平均花了2分钟阅读5种疾病表1在1张牙齿的全景图像上，平均花了大约6个小时读100张，包括休息时间。因此，标记10,000个样本大约需要50天。表1显示评分者同意的标准。本标准发表于口腔放射学:原理和解释[19]。

‎ 查看此图

学习模型(设计和训练模型)

通过数据收集和预处理进行标记，从而使用图像分类模型来了解5种牙齿相关疾病。本研究采用基于快速区域的卷积网络(fast R-CNN)、残差神经网络(ResNet)和inception进行牙病学习。选择疾病检测准确率最高的模型。为了训练模型，总共建模了10,000张全景图像:4208个冠状龋或缺损，4478个近端龋，6920个颈龋或磨损，8290个根尖周放射率，1446个残根。

本研究使用的模型(模型应用的附加案例)

Fast R-CNN与现有的目标检测算法相比，提高了精度，因为它提取了图像特征，并将图像分析中的噪声降至最低。Fast R-CNN由卷积特征映射和感兴趣区域特征向量[20.]。卷积特征映射将图像传递给卷积层和最大池化层，接收到的信息作为特征放置在感兴趣的区域。然后将特征向量图转换为具有各种特征的图，通过移动到完全连通层来确定K类目标图像的目标值[21]。在此过程中，最大限度地减少了多次功损失，并利用损失函数提高了学习精度。在1 Fast R-CNN模型中学习多类牙齿相关疾病，有时会导致对带有暗区全景图像的检测出现错误，如图图2。因此，本研究对1 Fast R-CNN模型采用单一类别，而不是多个类别，以提高检测牙齿相关疾病的准确性。

对于图像读取，首先使用矩形边界框，并通过基于约500个分割数据的算法进行分割。在分割的情况下，不计算分割数据的精度，因为它只用于获取近似精度。然后，导出了1颗牙齿全景图像中多标记的盒型牙齿类的坐标值。根据得到的坐标值对每一种疾病进行分类。然后，通过全景图像上对应牙病的方框坐标值，对5个牙类中的每一类进行学习。通过这种方法，利用1类全景图像数据和对应牙病的框坐标值构建1个模型的输入值。如图所示图3，为每种牙相关疾病指定一个边界框，并定义每种牙相关疾病的类别。

ResNet通过权值层派生出一个值来解决深度学习中由于维度深度增加而产生的过拟合问题，它将前一层权值层学习到的结果加入到激活函数中并传递给下一层[22]。因此，这种学习方法即使学习层深度加深，也可以解决过拟合问题，因为重要的权重可以用于下一次学习，而不会忘记过去的学习结果[23]。由于这些优势，在本研究中，对于具有相似图像特征的全景图像的学习，需要进行深层学习来得出详细的结果，因此选择了能够学习这种模型的ResNet模型。

Inception和ResNet一样，是通过增加层的深度来增加模型的大小，通过大量的学习来解决过拟合问题和计算流量的增加[24]。在初始模型中，即使在结构复杂的模型中，只连接节点之间关系高的节点，也可以通过少量的计算在快速的学习时间内得出结果[25]。此外，使用各种卷积滤波器，我们推导了一个模型，该模型可以根据每个滤波器导出的特征进行最优判断。本研究采用Fast R-CNN、ResNet、inception 3种模型对5种牙相关疾病进行评估。为了提高5种牙齿相关疾病的检测精度，设计了一个模型，流程如图所示图4(附加模型)，通过Fast R-CNN、ResNet和inception学习5种牙相关疾病。在学习牙齿相关疾病数据(附加模型的结果)时，3个模型在多类学习中表现良好。然而，对于由黑白对比度组成的全景图像的每一部分，如果在一个牙齿相关疾病检测模型中学习多个具有相似特征但大小不同的类，则会出现黑色背景被检测为牙齿相关疾病的情况。随着学习的进行，将5种牙齿相关疾病的数据作为一个整体输入，学习到更多的黑屏，结果显示在图2。如框中所示图2，在某些情况下，会检测到牙齿中未包含的其他全景图像的背景等区域。解决多班学习问题，如图所示图2，专业阅读专家将1万张图片以边界框形式标注，在一张牙齿图片中标注5种牙病，最后将其转换为CSV格式。从包含5种牙病标记信息的数据集中提取每种牙病对应的标签信息，并为每5种牙病导出每个数据集。因此，我们总共建模了5个由全景图像组成的csv格式数据集:4208个冠状龋或缺损，4478个近端龋，6920个颈龋或磨损，8290个根尖周放射率，1446个残根。进一步，根据模型进行DICOM(医学数字成像和通信)到BMP(位图)的转换，并进行部分亮度自动校正和调整。

‎ 查看此图

‎ 查看此图

‎ 查看此图

牙齿相关疾病综合检测系统的研制

通过Fast R-CNN、ResNet、inception等网站了解5种与牙齿有关的疾病，问题如下图2,出现了。为了解决这些问题，我们将单个模型应用于1类牙齿相关疾病，为5种牙齿相关疾病分别创建一个训练模型，从而可以详细地检测到疾病的不同位置和大小。

基于所示的过程图4，了解5种与牙齿有关的疾病，牙医和专家设计了实时诊断，如图图5。在设计过程中，服务和管理员web是使用基于Python(3.6版)的Flask实现的。26引擎(1.0.0版本)，网页配置使用基于Jinja模板的HTML和香草JavaScript实现[27]。AI应用程序编程接口的通信部分由基于python的Flask引擎组成，该引擎通过使用TensorFlow 2.0.0 (Google Brain Team)的模型学习安装在Flask引擎中。另外，将数据库服务器的图像数据分为文件名、拍摄日期、患者姓名、患者年龄、图像标注预测模型数据、图像标注正确答案数据，以协助牙医进行诊断。以训练/验证/测试的形式，首先进行分割，然后进行标记。总共6000张用于训练，2000张用于验证，剩下的2000张用于测试分割。事实上，我们使用了ResNet/inception作为Fast R-CNN的主干。学习数据作为一个模型的输入值，使用一个类的全景图像数据和对应牙病的方框坐标值构建学习数据。通过这种方法，利用一类全景图像数据和对应牙病的方框坐标值构建一个模型的输入值。

在Fast R-CNN、ResNet和inception各模型的训练层结构中，参照Fast R-CNN模型的结构(区域提议→CNN分类→兴趣区域投影)，通过兴趣区域池化进行兴趣区域投影和边界盒回归。模型配置如下所示图5，使用区域方案中的CNN模型为每种牙病指定300个距离框，并识别出特定类别对应的距离特征。此时，将兴趣池层区域中固定大小的特征转换成特征映射后，生成一个特征向量，每个特征对应一个完全连通的层。此时，对于每个特征，使用SoftMax和Bbox回归器预测相应类的位置。模型训练的历元执行100,000次，学习率设置为0.001。

与现有的图像分析模型CNN模型相比，ResNet通过残差学习减少了学习层的深度，提高了性能，从而提高了准确率。在一般的cnn中，为了提高学习精度，会堆叠很多层。然而，这样的深度层会降低学习模型的准确性。通过残差学习进行学习时，即使在较深的层中学习，也可以降低正错误率。当ResNet通过卷积操作中的激活函数从权重层获得一个值时，它会按原样导入先前学习的信息，如下所示图5，学习残差信息F(x)。看公式，当输入值x为输入时，乘以第一个权值，激活函数乘以第二个权值。此时，再乘以x单位，即x值。因此，由于结果是通过这个过程的不断重复得到的，y是通过增加一个多重卷积层F(x，{W)得到的_我})和短连接W_年代X，它将现有的输入值转换为结果值。

y = F (x，{Wi}) + Wsx

这样，通过在权值层导出的结果中加入信息，既可以增加信息，又可以降低计算复杂度，从而得到学习速度更快、性能更好的模型。由于ResNet使用5个模型作为1个模型来学习1种牙病，因此每种牙病指定50个隐藏层进行学习。对于训练，如Fast R-CNN，训练历元执行100,000次，学习率设置为0.001。

在完全连接的体系结构中，当每个节点之间的相关性很高时，初始模型连接高度相关的节点，而不连接其他节点，以便为每个特征创建N个集群。在创建连接架构时，我们还通过不同大小的滤波器对彼此相距很远的特征进行卷积，用于非均匀和低效的稀疏结构，并通过对高相关性节点使用1 × 1滤波器来减少通道数量。构造了初始模型，如图所示图6。对于模型配置，采用10个池化层构建牙病检测模型。训练历元执行100,000次，学习率设置为0.001。当从连接到x射线设备的计算机接收到图像列表并将数据存储在服务器数据库中时，将单独的图像重新传输到请求从存储数据中读取的系统。然后，通过牙齿相关疾病的检测模型实时提供阅读信息，帮助牙医缩短阅读时间。

整体流程图如图图6分为服务类、管理类和人工智能算法类。在服务网中，每一种与牙齿有关的疾病的数据都是由专家之前标注的，并且不断地积累和更新的全景图像提供给服务器。在管理器app中，将积累的数据传输到服务器，并由牙科专家读取传输的全景图像，以确定牙齿相关疾病。然后，通过标注收集分析数据，利用收集到的数据通过AI算法推导结果。

基于所示的过程图5，构建了本研究提出的牙齿相关疾病诊断系统的详细流程，该系统可分为服务、系统和个人计算机三个部分。服务部分设计为通过网站接收全景图像数据和读取信息，消息传递系统设计为用户通过信道talk应用编程接口进行通信[23]。提供给读者的信息被标记，以便人工智能模型可以学习，并且它的设计可以实现持续的数据更新。另外，当将标注结果应用到AI模型中，读者再次对AI结果进行判断时，如果判断正确，则更新为Case 1，如果判断错误，则更新为Case 2。因此，在被读取器再次准确读取后，通过与AI服务器的持续数据更新来提高模型的准确性。在系统中，搭建了一个服务器，使服务部分的网站能够正常工作。服务器是基于Flask构建的，它主要分为表示层、业务层和持久化层[28，29]。服务器通过3层连接用户和客户端系统，并允许数据库中的数据移动。数据库是用MongoDB设计的[30.]，可以快速操作各种类型的数据。MongoDB内置了AI、聊天、图像和消息服务器，以提高数据的实时移动速度。提供牙齿相关疾病阅读结果的AI服务器，更新医生提供的专家阅读结果，并在新的图像上向医生提供牙齿相关疾病的结果，通过相互反馈来提高准确性，通过在个人电脑上反馈用户的意见来帮助用户理解。最后，将通过图像服务器提供的牙科全景图像存储起来，或者将医疗信息提供给个人计算机用户，以便在需要时查看和持续管理病历。

‎ 查看此图

‎ 查看此图

道德的考虑

由于该数据为回顾性研究，因此通过数据库匿名化等方式对个人信息进行了保护。此外，为研究目的收集的数据通过清州大学生命伦理委员会IRB (1041107-202208-HR-024-01)收集。

结果

检测系统

本研究中的web服务是基于中介绍的流程构建的图6和图7。如图所示图7与传统的医生诊断技术相比，全景图像有助于更快地判断牙齿相关疾病。该检测系统通过传输实时拍摄的图像来辅助和缩短治疗时间。图7显示一个正确判断牙齿疾病的案例和另一个错误判断牙齿疾病的案例。由于病例的判断可能不准确，医生可以使用这个辅助系统再次检查患者的病情。图8显示患者可以在网上查看他们的全景图像，他们可以了解治疗计划和接收牙齿相关疾病的信息，以便有效地进行疾病管理。

‎ 查看此图

‎ 查看此图

使用基于web的系统和用户界面的好处

为了检测牙齿相关疾病，我们采用了从牙医角度出发，在所有分类模型中表现最好的Fast R-CNN。学习5种牙相关疾病的判断模型，牙医可以通过web应用程序编程接口实时更新全景图像，并通过对牙相关疾病检测标签的额外更新来提高准确性，不断收集数据。图6显示与牙齿有关的疾病判断web服务屏幕的显示方式。图6展示了通过患者的全景图像、过去的医疗记录和现在的状态，在网络上为医生和患者提供对自己疾病的诊断，医生可以及时治疗牙齿疾病，患者可以监控自己的牙齿状态。因此，从患者的角度来看，用户可以通过就诊医院提供的全景图像的web屏幕查看病历和治疗区域，检查牙齿相关疾病。此外，由于可以知道治疗时间和随后的治疗次数，用户可以使用该系统来管理他们的牙齿相关疾病，这需要持续的管理。

模型比较结果

本研究创建了一个检测模型很难判断视觉5牙科疾病(例如,日冕龋齿或缺陷,近端龋齿,颈龋齿或磨损,根尖周的射线透射性,和残根)通过使用口腔全景图像。Fast R-CNN, ResNet和inception以前被用来学习牙病检测[20.，22，31]。在对模型的训练中，在10000张全景图像中训练了冠状龋或缺损4206例、近端龋4478例、宫颈龋或磨损6920例、根尖周放射率8290例、残根1446例。因此，通过口腔疾病综合检测系统，将每一种牙病的训练模型转化为一个检测模型，建立了利用1张全景图像判断5种龋齿的模型。在训练次数方面，3个模型都训练了20万次，对结果进行比较，选择准确率最高的模型。5种牙病检测结果的精度、灵敏度和特异性推导结果见图8。如图所示图8冠状面缺损的特异性最高，平均特异性为90以上。此外，发现灵敏度平均在80以上，表明即使使用其他数据进行学习，也能显示出较高的准确性。

表2展示了Fast R-CNN、ResNet和inception对5种牙齿相关疾病的学习结果。如图所示表2，共检出5种牙相关疾病，平均准确率超过90%。同样，如图6， 5种牙相关疾病的特异性最高。这意味着每一种与牙齿相关的疾病都可以被高精度地检测出来。通过本研究提出的牙齿相关疾病检测web服务，可以为诊断牙齿相关疾病节省大量时间。牙科医生在1张全景图像上判断5种牙病平均需要1分钟左右的时间。然而，如果使用本研究提出的系统，则可以通过用户界面立即判断分类模型的结果，将牙疾病的判断时间缩短到10秒左右。因此，它被认为是一个有效的系统，以协助判断牙齿疾病。

讨论

优势与局限

这项研究有几个优点。在牙科中使用单个病人的全景图像是一个复杂的过程。本研究通过获取各种全景图像数据，收集10000张不同口腔结构和龋齿的数据，设计了一个可以确定5种龋齿的模型。因此，我们开发了一种准确度高、程序简单的牙齿相关疾病检测系统。但是，由于每种牙齿相关疾病的分类数量偏差较大，因此在分析组数量较少的情况下，学习精度会略有降低。利用上传到网络上的实时全景图像，通过不断更新收集和补充数据，有望提高模型的准确性。

结论

在本研究中，牙齿相关疾病判断系统通过AI模型识别出5种临床(视觉)难以判断的牙齿相关疾病，并将这些信息提供在网络上，创建一个医生和患者实时判断的系统。训练后的模型通过10000张全景图像标记出5个龋齿。使用Fast R-CNN、ResNet和inception模型对准确率进行了比较，这些模型都是很好的检测模型。在这些模型中，最后使用了Fast R-CNN，其准确率最高。因此，Fast R-CNN可以缩短龋齿的诊断和治疗时间。此外，通过在本研究开发的web服务上更新所捕获的患者全景图像，系统可以获取新的数据，进一步提高对牙齿相关疾病的诊断准确性。此外，病人可以了解他或她接受治疗的牙齿区域，治疗时间和龋齿类型，以便他或她可以调整未来牙科就诊的时间表，这将有助于持续管理牙齿健康。因此，本研究从案例中收集作为实际服务的学习数据，并基于收集到的数据实现原型型服务是有意义的。未来，通过对各种口腔疾病的进一步学习，将有可能开发出一种利用全景图像预测整体口腔疾病的模型。