发表在10卷第12名(2022): 12月

自然语言处理和图论:在一种新的表示框架中理解成像记录

自然语言处理和图论:在一种新的表示框架中理解成像记录

自然语言处理和图论:在一种新的表示框架中理解成像记录

原始论文

通讯作者:

劳伦特·宾斯菲尔德Gonçalves, MA

放射学与核医学临床“,

巴塞尔大学医院

巴塞尔大学

Petersgraben 4

巴塞尔,4031

瑞士

电话:352 621517916

电子邮件:laurent.binsfeld@gmail.com


背景:相关报告的简明可视化框架将增加可读性,改善患者管理。为此,在书面报告中,暂时参考以前的比较检查是与以前检查的重要联系。由于非结构化叙事文本的结构和内容多变,其提取受到计算机可读性差的阻碍。自然语言处理(NLP)允许自动从非结构化文本中提取结构化信息,并可以作为这种新型可视化框架的基本输入。

摘要目的:本研究提出并评估了一种基于nlp的算法,该算法能够提取书面放射学报告中的时间转诊,并将其应用于10年来生成的所有放射学报告,引入了成像报告的图形表示,并研究了其对临床和研究目的的好处。

方法:在这项单中心、大学医院的回顾性研究中,我们开发了一种卷积神经网络,能够从影像学报告中提取转诊日期。通过计算精密度、召回率和F1-score来评估模型的性能,使用的是149份报告的独立测试集。接下来,该算法应用于我们部门2011年至2021年生成的放射学报告。最后,报告及其元数据在一个可模块化的图中表示。

结果:对于转诊日期的提取,命名实体识别(NER)模型的精度为0.93,召回率为0.95,F1-score为0.94。共有1,684,635份报告被纳入分析。53.3%的报告(656,852/1,684,635)提到了时间参考,21.0%的报告(258,386/1,684,635)明确表示不存在,25.7%的报告(317,059/1,684,635)省略了时间参考。成像记录可以在有向可调图中可视化,其中引用的链接表示连接的箭头。

结论:利用深度学习NLP算法从非结构化放射学报告中自动提取转诊数据是可行的。图形细化了不同病理通路的选择,促进了缺失比较的揭示,并使特定参考检查序列的查询成为可能。还需要进一步的工作来评估其在临床、研究和资源规划方面的效益。

JMIR Med Inform 2022;10(12):e40534

doi: 10.2196/40534

关键字



放射科每天都会产生大量的报告。叙述性放射学报告是放射科医生和转诊医生之间的主要沟通媒介,因此在病人护理中起着核心作用,并包含大量各种保健信息[12].从1996年到2010年,计算机断层扫描(CT)和磁共振成像(MRI)的图像研究量增加了280%至380% [3.].放射学在早期就采用了数字工作流程和电子信息传递给参考同事,这实际上消除了该领域的模拟数据[4].这种早期承诺提供了大量包含解释性图像描述的数字化报告数据。然而,这些信息的提取受到阻碍,因为非结构化报告的计算机可读性很差[5].语义报告在粒度级别上包含有价值的信息(例如,多个时间引用),这些信息可以用于整个报告或多个文档位置中的特定发现。这种多室信息不容易在整个文档级别上确定[6].

自然语言处理(NLP)是从大量的自由文本放射学报告中提取特定信息的一种解决方案。NLP被定义为使用计算方法分析语言数据,最常见的形式是文本数据[7-13].NLP已经从基于规则进化为机器学习算法[14-20.],深度学习是后者的一个子集,它应用多层神经网络[2122].它自动提取结构化信息的能力已在许多医学研究环境中得到描述[23-29].特别是在放射学中,有许多实例表明它具有出色的文本挖掘性能,包括检测偶然发现和建议[30.-32]、可采取行动的调查结果[33],具体的调查结果[34-41]、报告的质素评估[4243],以及生成策展数据集[44-49].

多年来每个病人的放射学报告的定量积累导致了一个高度互联的检查网络。现代图片存档和通信系统(PACS)将不同的考试按获取日期排序。大多数系统可以在对用户的研究描述中突出显示大致相同地区的以前的考试。这种类型的比较可视化不考虑多区域研究或在获得的视野边缘经常遇到的发现。它没有突出放射科医生在报告中比较他的发现的日期。这最后一部分是临床医生回顾患者历史的一个重大缺点。例如,他们必须仔细阅读每一份报告,以了解放射科医生在哪个时间点比较了肿瘤的进展,或者在阅读随访检查时,放射科医生是否可以在准确的时间点获得来自外部机构的图像。

在这种情况下,一个关键的联系是以前考试的日期转诊。欧洲放射学会的放射报告良好操作指引[50]和2020年修订的美国放射学会诊断成像结果交流实践参数强调了与以前的调查进行比较的必要性,包括以前报告的日期,并提及以前的成像的缺失。通过比较研究,放射科医生可以进行更多的观察,在他们的解释中获得信心,并提供更多的诊断[51-55].一项研究发现,随着假阳性率的降低,乳房x线摄影的诊断准确性、敏感性和特异性都在增加[56].最近的各种研究依赖于NLP技术来提取成像报告中测量的时间性(即,归因于当前或先前检查的观察结果)[39-62].然而,据我们所知,目前还没有从语义辐射文本中提取所有引用日期的方法。此外,文献中没有研究关注评估报告的整体时间索引,在大多数情况下,由放射科医生在报告开始时进行评估。

显示大量不同报告之间的连接的一种解决方案是图形表示。图论将图定义为存储在由边连接的节点中的一组属性,这些属性表示连接节点之间的关系[6364].2020年的一篇综述论文发现,图论定义的图很少用于表示临床环境中的患者数据;在文献综述中,只有11篇论文符合描述[65].

本研究旨在开发一种新颖简洁的相关报表可视化框架。

为此,我们应用了一种自行设计的NLP算法,能够从一所大学医院10年来生成的所有非结构化放射报告中提取引用日期。这些信息是关系图的基本输入,在关系图中,节点表示放射学报告及其相关元数据,日期推荐是它们的连接边。最后,我们研究了这种图形表示和存储的临床和研究目的的潜在好处。


伦理批准

机构审查委员会的批准和对知情同意的要求被放弃(机构审查委员会:Ethikkommission Nordwest- und Zentralschweiz),因为没有使用患者标识符。收集的数据包括来自放射学报告的纯文本和随机元数据,其中任何一种都不能追溯到放射科医生、个别患者或推荐临床医生。

数据集采集和描述

我们从医院数据库中提取了2011年1月至2021年12月的所有放射学报告,以及相关的医学数字成像和通信(DICOM)元数据(即随机患者ID、模式类型、身体区域、研究日期)。所有的报告都是用德语写的,并来源于所有的成像方式(即超声、x射线摄影、乳房x线摄影、x射线血管摄影、CT、MRI、核医学检查和正电子发射断层扫描[PET]-CT)。这些报告混合了非结构化的自由文本报告和标准化模板,要么包含预先写好的正常检查结果的不同器官的小标题(如CT胸腹),要么包含标准化报告功能的清单(如肝脏MRI的肝脏成像报告和数据系统)。报告的总体结构通常分为5个部分:病史、医疗问题、检查方案、放射发现和印象。

每个放射学检查在其DICOM元数据中都有一个预定义的身体区域和模态类型。有14个身体区域和9种方式(见多媒体附件1).

一种时域参考提取算法的构建

培训数据选择

我们从先前提取的放射学报告中随机抽取5187份。

数据注释

使用了内部开发的数据注释工具“xtag”。一名二年级住院医师(LBG)手动标记5187份报告,分为5类,指示时间参考(表1).注释类“date”、“today”、“yesterday”和“no previous”应用于文本序列级别(即,注释数字或单词序列)。注释类“missing”应用于文档级别,并且是排他性的,这意味着不能应用其他注释。另一方面,“日期”、“今天”、“昨天”和“以前没有”可以在每个报告中应用多次。为了评估二读的必要性,一位在放射学(TW)的五年住院医师对随机选择的100份报告进行了注释。这一过程在读者中产生了100%的一致性。考虑到任务的简单性,基于这个结果,我们避免了对整个数据集进行第二次读取。

表1。带注释的类及其定义的含义。
意义
日期 参照比较考试的精确数字日期;任何数字或部分数字格式都被接受。
今天 对与实际报告同一天进行的比较研究的非数值时间参考(即,任何字面表达的意思是今天)
昨天 对实际报告前一天进行的比较研究的非数值时间参考(即任何字面意思为昨天)
没有以前的 明确声明以前没有类似的考试
失踪 没有提到比较研究
数据格式

训练管道要求注释符合IOB2格式[6667].预测也以同样的格式提出(进一步的技术资料可在多媒体附件2568-72])。

算法训练与测试

我们从注释的数据集中排除了2392个报告,因为它们不包含时间链接。我们将数据分为2646个报告(94.6%)的训练/验证数据集和149个报告(5.4%)的独立测试数据集。我们估计,对于独立的第二个测试数据集,5%是有效表示,因为我们使用5倍交叉验证验证了算法的稳健性[73].我们还考虑了待解决问题的低输出变异性。在训练之前,我们使用斯派西句子机将文本转换成句子。然后,我们使用ktrain库来生成双向长短期记忆(LSTM) [74以预训练的fastText词嵌入开始的模型[75)(具体请参见多媒体附件2).我们在预测的数据序列上应用各种基于规则的数据提取算法来提取尽可能多的数据。今天和昨天的非数值类使用参考报告的日期作为参考转换为数值格式。缺少年份规范的日期被指定为与引用报告相同的年份。如果缺少日期或月份,预测将被忽略。网格搜索算法测试了学习率和批处理大小的不同组合,以为我们的训练算法找到接近最优的参数。5倍交叉验证[76]的训练数据集,并在每轮中执行20%的报告作为验证,以评估模型在大型独立数据集上的性能。将数据集分割为折叠是在报告级别上完成的。最后在独立测试数据集上对模型进行测试使用以下性能评估指标来评估训练模型的质量:精度,召回率和F1分数(77].

参考模态和体域的提取

引用的模态是使用简单的基于规则的方法提取的。在从报告中提取时间引用后,算法搜索带有日期引用的句子中提到的情态。前一个报告的主体部分是从它的元数据中派生出来的,并且假定它与引用报告的主体区域相同。

预测环节信心的毕业

我们对预测的置信度进行了分级:(1)日期、情态和主体部分;(二)日期和方式;(3)日期和主体部分;(4)日期。这种信心梯度被建立为一个链接属性,其中1为最自信,4为最不自信。如果不可能根据这4个原则生成链接,则丢弃链接。这种方法允许缩小和提高参考报告的准确性,如果在参考日期获得了多个检查。

完整数据集上的算法应用与数据抽取

训练模型提取时间信息的准备步骤与训练部分相同。该模型应用于2011年至2021年的所有报告的结果是一个每个令牌的表,每个令牌都有IOB2格式的标签。不符合IOB2格式的预测被删除。

填充图形数据库

使用的图形数据库系统是Neo4j (Version 4.4.)。从2011年到2021年的所有报告及其相关元数据都是通过py2neo库导入的。元数据包括检查的获取日期、姓名、方式和身体区域,以及随机的患者ID。报告及其元数据被分配给顶点,并创建了从引用报告到被引用报告的单向边。我们为边缘分配了3个属性:第一个包含被称为“引用类”的推断类,第二个显示提取的字符串,第三个显示预测的置信度。

图形的交互式探索

评估患者数据可视化在一个图形的潜在好处是交互式探索。目的是通过相关报告,对患者的影像学病史进行一次有序的概述;能够与以前的考试进行比较;并以简洁的方式表示所需的病理通路(如肿瘤或术后随访成像)。此外,它还向临床医生和放射科医生揭示了放射科医生是在什么时间点进行比较的。用户应该能够将他或她的搜索限制在报告元数据中的单独可适应过滤器(例如,主体区域、模态类型、报告日期或报告文本中的关键字)。另一个重要的特性是以简洁的顺序提供精确筛选的检查,其中每个检查都有其在序列中精确定义的位置。最后一个目标是评估与以前考试的缺失比较,希望通过发现图表中缺失的环节和自我设计的搜索算法来直观地实现这一目标。


数据集

总共从264,655名不同的患者中提取了1,684,635份报告。我们从元数据分析中排除了170,415份(10.1%)报告,因为它们由会诊记录和外部转诊组成多媒体).图1显示详细的系统流程图。

图1。从医院数据库检索的1,684,635例患者报告(2011年至2021年)的研究流程图。NLP:自然语言处理。
查看此图

注释分布

2011年至2019年,共对5187份报告应用了7860条注释。训练数据集的班级分布如下:44%为日期参考,27%没有以前的比较考试,23%缺少时间链接,6%是“今天”推荐的班级。我们从数据集中删除了语义引用类“yesterday”,因为没有足够的训练样本(34/5187,0.7%)。

时间信息提取算法

Hyperparameter优化

算法输出的最佳学习速率为1e-2,批处理大小为1024。为了重现性,随机状态是固定的。训练周期的最大数量被限制为从未达到30的限制。

培训和测试

3个阶段验证性能停滞是针对早期停止的。在训练过程中,模型在每个纪元之后存储。训练过程完成后,将表现最好的epoch权重用于最终模型。所有涉及训练的步骤都采用了同样的程序。经过5次交叉验证(结果为多媒体附件4算法的性能在先前未使用的测试数据集(表2).

表2。149个以前未使用的报告的测试结果。
变量 精度(95%置信区间) 召回率(95%置信区间) F1-得分(95%置信区间)
日期 0.93 (0.89 - -0.93) 0.9 (0.86 - -0.93) 0.93 (0.91 - -0.94)
没有以前的 0.94 (0.95 - -0.97) 0.98 (0.96 - -0.98) 0.96 (0.93 - -0.98)
今天 0.76 (0.73 - -0.88) 0.85 (0.79 - -0.90) 0.83 (0.79 - -0.93)
微平均 0.93 (0.91 - -0.94) 0.92 (0.90 - -0.95) 0.94 (0.89 - -0.93)
宏观平均 0.86 (0.84 - -0.95) 0.91 (0.87 - -0.95) 0.91 (0.80 - -0.94)
加权平均 0.93 (0.91 - -0.94) 0.93 (0.90 - -0.94) 0.94 (0.91 - -0.95)

时间参照分析

53.3%(656,852/1,232,297)的报告提到了可比检查的时间参考,21.0%(258,386/1,232,297)的报告中明确表示没有,25.7%(317,059/1,232,297)的报告中省略了。多年来的变化被断言(图2).缺失文献最少的方法是乳房x线摄影(41,197/545,636,7.6%)、PET/CT(1850/18,500, 10.3%)和CT(278,286/2,399,017, 11.6%)。另一方面,血管造影(33,924/40,872,83.2%)和超声(94,080/254,270,37.2%)的缺失文献最多(表S4)多媒体).缺失文献最少的身体部位为躯干(3072/ 39639,7.8%)、乳房(5727/ 70617,8.1%)和胸部(25646 / 276060,9.3%)。另一方面,心脏(19,030/26,090,72.9%)和颈部(14,716/23,230,63.4%)的缺失环节最多(表S5)多媒体除血管造影(39.8%,1790/4503)、PET/CT(45.1%, 456/1013)、核医学检查(33.9%,3500/10294;表S6多媒体).每个身体区域主要指同一身体区域。最极端的例子是“乳房”,在其他乳房研究中,99.0%(59,619/60,221)的病例都提到了这个词。

图2。报告历年的时间参考文献(n= 1514,220)。
查看此图

引用报告的中位数时间段分析

从2011年到2021年引用报告之间的中位数周期以天为单位确定,每种模式(表3)和身体区域(表4).乳房x光检查(372天)和相应的身体区域乳房(370天)发现的时间最长。在x线平片报告中观察到最短的时间(19天)和胸部区域(10天)。

表3。每个模态引用报告之间的中位数时间间隔(n=757,249)。
形态 时段(天),中位数(Q1-Q3) 位差 P价值
计算摄影 19 (2 - 118) 116 <措施
x射线造影 35 (7 - 137) 130 .048
计算机断层扫描(CT) 42 (3 - 231) 228 <措施
核磁共振 65 (3 - 344) 341 .002
核医学 114 (8 - 440) 432 06
宠物一个/ CT 129.5 (30 - 366) 336 <措施
超声波 344 (24 - 386) 362 .002
乳房x光检查 372年(352 - 722) 368 03

一个PET:正电子发射断层扫描。

表4。每个身体区域引用报告之间的中位数时间间隔(n=757,249)。
身体区域 时段(天),中位数(Q1-Q3) 位差 P价值
胸腔 10 (2 - 156) 154 . 01
上肢 11 (1) 47 . 01
腹部 35 (4 - 237) 233 .006
脊柱 35 (3 - 207) 204 <措施
骨盆 39 (3 - 146) 143 措施
下肢 42 (6 - 136) 130 . 01
65 (2 - 364) 362 <措施
树干 89 (34 - 196) 162 03
125 (8 - 378) 370 = .40
整个身体 128 (8 - 427.3) 419.3 <措施
脖子 182 (29 - 395) 366 .045
乳房 370年(348 - 550) 202 .009

图中成像记录的探索

总体概述

从2011年到2021年的所有成像报告和元数据都成功加载到有向图中。蓝色的节点代表不同的患者报告,标记了他们的检查名称(如ct -胸部或MRI-head),连接链接是他们自动提取的转诊日期。该界面是可单独调整的(例如,用户可以根据需要自由地定位节点,并且各个组件的颜色和显示的元数据是可定制的)。可以在任何查询开始时选择不同患者报告的总数。此视图允许对最早的比较考试进行快速可视化评估(图3).

图3。单个患者病例示例(肺癌与癌症相关研究)包括完整的用户界面,其中左上角的蓝框是查询界面;蓝色节点包含检查名称,代表存储在图片归档与通信系统(PACS)中的所有成像研究,顺序从左到右从旧到新;连接的蓝色箭头表示它们的引用链接;当单击节点时,节点的元数据(检查名称、获取日期、所选和引用报告的文本以及查找和印象部分)将出现在右侧。CT:计算机断层扫描;MRI:磁共振成像;PET:正电子发射断层扫描;处方:x射线;我们:超声; WB: whole body.
查看此图
多参数过滤表示

将报告缩小到最相关的范围,从而促进可视化,这与每个患者的大量检查密切相关。通过单击感兴趣的节点,用户可以选择仅显示已链接的报告(在图4).限制视图和查找特定结果的另一种可能方法是与报告文本中的相关元数据和特定单词相关的搜索过滤器。一个可能的概念是,在报告文本中寻找以前没有参考文献的特定检查,并将定义的病理条件作为关键字,这将加快选择与该条件相关的第一个检查。

图4。过滤后的相关研究在用户界面中以部分截图的形式显示,其中所有相关的先前检查通过点击最后一个提及肺癌的节点(红色箭头)即可一目了然。尽管用户选择了最近的研究,但单击该网络中的每个其他节点都会得到相同的视图。CT:计算机断层扫描;MRI:磁共振成像;PET:正电子发射断层扫描;我们:超声;王彬:全身。
查看此图
具体考试顺序选择

可以选择具有特定元数据属性的高度定制的转诊检查序列(例如,胸部x光和胸部CT)。这可以细化,例如,在相关考试之间设置时间限制或限制时间间隔(图5而且6).

图5。具体检查序列选择为用户界面内的部分截图,其中我们使用查询字段随机选择300份头部计算机断层扫描(CT)报告(蓝色节点),这些报告由不超过3天后获得的头部磁共振成像(MRI)引用,印象字段中包含关键字“梗死”。
查看此图
图6。弦图表示头部区域形态之间的连接,参考头部计算机断层扫描(CT)图像(浅蓝色边缘),在获取后7天内。弧的大小与引用报告的数量成正比。参考报道最多的是头部磁共振图像(mri),其次是其他头部CT图像。CR:计算机放射摄影术;MR:磁共振;NM:核医学;不:其他;PT:正电子发射断层扫描;我们:超声波。
查看此图
缺失比较连接的视觉和过滤辅助检测

带有顺序过滤器和图形可视化的选择性查询允许快速评估缺少推荐链接的情况(图7).当先前的比较检查由于PACS或放射学信息系统中检查历史的不良列表外观而被忽略时,以及在获取和读取后续检查后将先前的外部图像导入PACS时,该特性是有用的。

图7。单个病例实例说明了在随后的胸部计算机断层扫描(CT)研究(绿色方框)报告(蓝色节点,从左边最早的采集到右边最近的采集)之间缺失的时间参考(红色箭头)。很容易发现顶部的早期ct -胸腔报告没有被右下方的后期ct -胸腔报告引用,以及通过搜索查询暴露了转诊的时间不一致(顶部蓝框)之间的疑似遗漏链接。PET:正电子发射断层扫描;我们:超声;王彬:全身。
查看此图

主要研究结果

如本文所示,用有向图表示成像记录是可行的。通过他们的参考日期将他们联系起来,改善了相关成像路径的可视化,并检测出错过的检查比较。我们还表明,使用基于深度学习的NLP算法从书面放射学报告中自动提取参考日期,这是创建表示所需的基础,是可行的,可实现的,具有很高的意义(F1- 0.94分)。

考虑到使用NLP提取时间性概念,我们的方法可以与Bozkurt等人2019年发表的一篇文章进行比较。60].他们的主要关注点是提取测量值及其核心描述符,其中包括它们的时间上下文,为此他们使用基于规则的NLP和预定义的正则表达式。他们只关注两个时间方面(即当前或以前),他们的管道有很高的F1- 0.85分。我们的方法使用了一个日期提取LSTM。它集中于书面报告中的所有参考日期,包括那些没有精确测量的日期,例如,由于无定形结构而无法测量的病变或报告的总体比较日期。此外,我们的算法具有关键和独特的优势,可以从书面文本中检测出比较考试的显着缺席和缺失。此外,我们从报告中提取了每一个比较日期,从而允许一个粉碎和精确的联系,以构建一个一般的图表。

然而,我们的方法的主要缺点是没有将比较日期归因于特定的发现或测量,这将减缓对复杂患者历史中特定实体的重点审查。更细粒度的提取方法的另一个缺点是任务的高度复杂性,这连续增加了它对拼写正确的引用日期的依赖。按照这个逻辑,除了不同机构或放射科医生之间不同的写作习惯或报告模板的影响之外,省略或错误选择的日期对机器学习模型和图表的完整性有更大的影响。尽管报告指南倾向于精确日期的比较,但放射科医生并不总是在文本中明确地写出比较发现的确切日期。由于这种遗漏主要发生在与最近的报告比较时,而最近的报告将在报告开始时作为最后一份参考报告提到,因此我们的方法涵盖了这些情况中的大多数。这些方面可能会使我们的模型的整体适用性比迄今为止开发的时间性提取算法更复杂,更容易受到更小的误差影响。

2006年,Lakhani等人[78]在他们对180万份报告的大规模数据库分析中,探索了放射科医生与之前使用SQL方法的研究进行比较的频率。他们发现,42.5%的报告完全忽略了以前的研究,38.7%的报告提到了比较,只有18.8%的报告没有明确指出相关的比较。虽然不是完全可比较的,因为他们专注于参考信息提取的纯语义方法,它提供了一个很好的近似,因为如果报告包含暗示比较的短语,比较考试的日期最有可能被提及。在我们的研究中,报告更频繁地引用了可比检查的日期(53%),明确指出以前没有检查(21%),并且不太容易遗漏参考环节(26%)。显示时间参考文献的最佳年份是2021年,只有17.9%的报告遗漏了参考文献,低于2019年的30.4%和2020年的28.8%。这种更多时间转诊的趋势可能是由于当前报告指南和数字化中越来越强调比较考试咨询和报告结构,而许多以前的研究很容易获得。然而,这些基于放射科报告中书面参考资料的检查前咨询的百分比很可能被低估了。海古德等[79]在2018年的研究中得出结论,认为仅仅因为报告中没有引用旧的放射图像或医疗文件而在放射解释过程中没有参考的假设是不成立的。这给读者带来了法律上的问题。陪审团发现放射科医生疏忽,未能将新胸片与以往所有胸片作比较[80].没有书面证据,这就更难辩护了。另一个相关方面是不同的提取方法。我们的基于句子的命名实体识别系统在粒度级别上分析数据,因此不会遗漏括号中用于比较的单个日期或没有像SQL方法所要求的那样明确的语义引用指示的其他日期。

分析放射学报告过程中的错误的研究强调了比较结果的重要性[52-56].欧洲放射学会的良好实践指南[50]和2020年修订的美国放射学会诊断成像结果交流实践参数支持这一肯定。金与曼斯菲尔德[55他们发现,在所有放射学错误中,有5%是由于没有参考以前的放射学研究,而这些研究本可以得到正确的诊断。然而,在比较以前的检查时,应该对以前放射科医生的发现或印象进行批判性审查。一个人必须小心不要走错路;在金和曼斯菲尔德的研究中,这种错误被称为“报告满意度”,占放射学报告的所有错误的6%。55].在现代PACS中,以前的考试的广泛可用性使得不将结果与以前的考试进行比较的借口过时了。现代PACS提供的自动选择比较考试具有固有的偏见,因为它主要考虑本地区域方面,从而失去了对多区域性的关注。例如,在评估肺根尖肿块时,颈椎或肩部的CT可能被忽略为潜在的比较来源,或者在解释髋关节时,腹部x线片可能被忽略。同样的逻辑也适用于临床医生或放射科医生回顾特定发现的影像学历史,特别是在肿瘤学领域,这有许多多区域的研究和发现。

这些复杂的考虑需要一个精心安排和组织的可视化系统。患者数据的可用性差和可视化障碍降低了彻底审查它们的动机,这仍然是医疗保健中的一个挑战,并与由于缺少相关细节、用户疲劳和沮丧而导致的错误率增加有关[7879].2022年的一项分析重症监护病房临床信息系统影响的研究表明,糟糕的界面设计和视觉表现是用户不满的主要来源[80].我们的探索表明,将相关的考试分组在一个图表中可以帮助改善这个基本的和日益紧迫的用户友好性问题。

我们希望,通过加强放射科医生的组织作用,并通过替换影像史列表外观来改善病例概述,他或她将倾向于更少地省略参考链接,从而最大限度地减少比较误差。另一个重要的辅助是在某些情况下对遗漏连接的改进检测,例如,之前获得的外部扫描在阅读以下检查后被加载到PACS中。这将对后续医生回顾影像史有很大的价值。报告中的时间转诊向读者证明放射科医生没有忘记比较特定的发现。这是一项宝贵的资产,因为一项发现的相关性往往是由其时间进程决定的。例如,肺结节、脑萎缩改变或血管动脉瘤在很长一段时间内没有动态变化就不那么令人担忧,特别是在婴儿和老年人中,对他们来说,非侵入性成像随访比侵入性医学检查更受欢迎。用图形表示优化可视化可以节省时间,并减少不必要的检查和患者的辐射暴露。

在专科医学中,临床医生更专注于特定的区域或发现。手动过滤掉不相关的检查增加了工作量,也增加了潜在错误的来源(例如,骨科医生更倾向于调查暗示骨折愈合过程的图像,或者神经科医生更倾向于调查与大脑或脊柱相关的检查结果)。我们的图表使用户有兴趣的考试选择所有相关的研究,并省略,如果需要,所有不相关的报告,从而大幅和立即减少研究的审查数量。

我们的系统可以通过快速过滤可选择的检查序列(例如,x射线后进行的CT)来帮助质量控制和指南依从性审查,并通过限制搜索相互研究周期的可能性来进行优化。这种基于报告元数据的高度可定制的审查也可以帮助研究项目。例如,在评估脑部病变随时间变化的特征时,可以过滤掉数据库中报告文本中描述该发现的所有报告;这些报告将显示,如果希望独立于患者,与他们各自的相关报告。这种方法快速直观地加快了繁琐的查询,为研究人员提供了在相关图像上进行测量步骤的后续和快速方法。定量和定性的预测以及相关的后续放射检查的周期对临床管理有很大的价值,可以最优地预测所需的人力和物质资源。

限制

我们的研究有几个局限性。主要的限制是分析是基于单一的三级保健大学医院,并严重依赖于我们的报告习惯。其次,报告仅由一名读者(一名第二年的住院医生)标记。鉴于标记引用日期的复杂度较低,并且在100份报告的子集中100%一致,我们避免了对整个数据集进行第二次读取。在报告过程中,更具有挑战性的确定比较研究的任务是由至少一名委员会认证的放射科医生完成的。第三,没有足够的样本来训练表示“昨天”的非数值引用日期。这应该在今后的工作中加以解决。一种解决方案可能是使用主动学习算法,优先考虑模型中最不确定的预测。第四,缺乏外部认可。此外,据我们所知,在文献中没有类似的研究。 Nevertheless, the methodology should be reproducible in other radiology department setups to allow for future comparison. To this end, we have also made the codebase that allows for internal testing available (多媒体附件2).第五,这里的重点是整个管道的可行性,包括开采和代理。因此,我们没有彻底评估其临床有用性,而是在几个用例中说明了其潜在的有用性。

未来前景

我们基于nlp的模型在处理大量自由文本数据时的高性能强调了它在未来研究项目中的潜力。过滤比较研究的过程可以大大加快,这将大大有利于基于图像检测和基于nlp的算法的发展。相关图形数据库的概念可以通过改进可视化和用户友好性,加速研究项目中的数据选择,以及增强质量控制和临床审查过程,来优化放射学中其他医疗软件工具的工程和设计。一个重要的改进可以是将日期与它们所参考的具体发现或测量相联系。此外,它还能使资源规划者分别预测必要的人力和物质资源。这些数据库的一个重要资产是易于实现的扩展(例如,病理报告或相关图像的集成)。通过给用户纠正和添加链接的可能性,可以想象出一个不断自我改进的算法。

结论

我们建立了一个基于nlp算法的概念证明,该算法能够从非结构化放射学报告中准确地提取颗粒级的转诊日期。我们成功地生成了参考放射学报告的可定制图形,其中可以自由应用多个过滤器,提供了一个布局良好的可视化概述。这种类型的可视化为查询特定的检查序列提供了新的可能性,便于放射科医生发现遗漏的比较,并为医疗保健专业人员提供了广泛的复查机会。放射科医生对其发现的比较方面的认识和动机可以提高,他或她对临床医生的价值可以通过不仅提供信息而且积极地帮助组织信息来提高。进一步的工作需要扩大其特点和评估其在日常临床实践中的确切效益。

利益冲突

没有宣布。

多媒体附件1

定义身体区域和情态类型。

DOCX文件,14kb

多媒体附件2

数据格式和机器学习。

DOCX文件,14kb

多媒体

在整个数据集中有明显的计数。

DOCX文件,35kb

多媒体附件4

五倍交叉验证结果。

DOCX文件,13kb

多媒体

时间引用的元数据分析。

DOCX文件,19kb

  1. 格里夫FM,普拉姆AA,可汗SH.放射报告:全科医生的观点。Br J Radiol 2010 1月;82 (985):17-22 [免费全文] [CrossRef] [Medline
  2. Lee B, Whitehead MT.放射学报告:你认为你在说什么,他们认为你在说什么。《当代问题诊断放射》2017年5月;46(3):186-195。[CrossRef] [Medline
  3. 张志强,李志强,张志强,等。1996-2010年大型综合卫生保健系统患者的诊断成像研究和相关辐射暴露的使用情况。中国医学杂志2012 6月13日;307(22):2400-2409 [免费全文] [CrossRef] [Medline
  4. Avrin DE, Urbania TH。电影的消亡。放射学院2014年3月21日(3):303-304。[CrossRef] [Medline
  5. spic I, Nenadic G.机器学习中的临床文本数据:系统回顾。JMIR Med Inform 2020年3月31日;8(3):e17984 [免费全文] [CrossRef] [Medline
  6. Short RG, Bralich J, bogatty D, Befera NT.使用神经网络序列标记方法对筛查性乳房x线摄影报告进行综合词级分类。J数字成像2019 Oct 18;32(5):685-692 [免费全文] [CrossRef] [Medline
  7. Verspoor K, Cohen KB。自然语言处理。入:Dubitzky W, Wolkenhauer O, Cho KH, Yokota H,编辑。系统生物学百科全书。纽约州纽约:施普林格;2013:1495 - 1498。
  8. Goldberg Y.自然语言处理的神经网络模型入门。人工智能研究杂志2016年11月20日;57:345-420 [免费全文] [CrossRef
  9. 郝涛,黄志,梁林,翁宏,唐波。健康自然语言处理方法的发展与应用。JMIR Med Inform 2021年10月21日;9(10):e23898 [免费全文] [CrossRef] [Medline
  10. Dreisbach C, Koleck TA, Bourne PE, Bakken S.从患者撰写的电子文本数据中对症状进行自然语言处理和文本挖掘的系统综述。国际医学杂志2019年5月;125:37-46 [免费全文] [CrossRef] [Medline
  11. Sheikhalishahi S, Miotto R, Dudley JT, Lavelli A, Rinaldi F, Osmani V.慢性疾病临床病历的自然语言处理:系统综述。JMIR Med Inform 2019 4月27日;7(2):e12239 [免费全文] [CrossRef] [Medline
  12. 裴俊华,韩华文,杨玉生,宋刚,萨生,钟戈,等。用于评估自由文本结肠镜检查和病理报告质量指标的自然语言处理:开发和可用性研究。JMIR Med Inform 2022年4月15日;10(4):e35257 [免费全文] [CrossRef] [Medline
  13. 陈杰,龚志强,刘伟。基于词嵌入的在线主题发现非参数模型。信息科学2019年12月;504:32-47。[CrossRef
  14. 欧洲放射学会。关于人工智能,放射科医生应该知道什么——ESR白皮书。Insights Imaging 2019 april 04;10(1):44 [免费全文] [CrossRef] [Medline
  15. Chen P, Zafar H, Galperin-Aizenberg M, Cook T.集成自然语言处理和机器学习算法对放射报告中的肿瘤反应进行分类。J数字影像2018 april 27;31(2):178-184 [免费全文] [CrossRef] [Medline
  16. 罗俊伟,庄俊杰。放射学中的自然语言处理综述。神经影像学临床N Am 2020年11月30日(4):447-458。[CrossRef] [Medline
  17. 达尔FA, Rama T, Hurlen P, Brekke PH, Husby H, Gundersen T,等。挪威放射学报告的神经分类:使用NLP检测儿童ct扫描中的发现。BMC Med Inform Decis Mak 2021 Mar 04;21(1):84 [免费全文] [CrossRef] [Medline
  18. 刘浩,张震,徐勇,王楠,黄勇,杨忠,等。基于BERT (transformer的双向编码器表示)的深度学习方法在中国放射学报告中提取证据:计算机辅助肝癌诊断框架的开发J Med Internet Res 2021年1月12日;23(1):e19689 [免费全文] [CrossRef] [Medline
  19. 张晓东,李志强,李志强,Tröltzsch D,张志强,等。使用预先训练过380万份文本报告的深度学习自然语言模型,对胸部x线检查报告进行高度准确的分类。生物信息学2021年1月29日;36(21):5255-5261。[CrossRef] [Medline
  20. 李志强,李志强,李志强,等。基于自然语言处理的非英文头部CT报告分类深度学习模型的比较。神经放射学2020年10月25日;62(10):1247-1256。[CrossRef] [Medline
  21. 夏trand G, Cheng PM, Vorontsov E, Drozdzal M, Turcotte S, Pal CJ,等。深度学习:放射科医生的入门。射线照相2017;37(7):2113 - 2131。[CrossRef] [Medline
  22. Esteva A, Robicquet A, Ramsundar B, Kuleshov V, DePristo M, Chou K,等。医疗保健领域的深度学习指南。Nat Med 2019 1月7日;25(1):24-29。[CrossRef] [Medline
  23. 曾志峰,李志强,李志强,李志强,李志强。基于自然语言处理的哮喘主诊断、共发病和吸烟状况提取方法研究。BMC Med Inform Decis Mak 2006 7月26日;6(1):30 [免费全文] [CrossRef] [Medline
  24. 廖鹏鹏,蔡涛,Savova GK, Murphy SN, Karlson EW, Ananthakrishnan,等。利用电子病历并结合自然语言处理开发表型算法。BMJ 2015 Apr 24;350(apr24 11):h1885 [免费全文] [CrossRef] [Medline
  25. 马志刚,李志刚,李志刚,等。使用自然语言处理在电子病历中自动识别术后并发症。中国医学杂志2011年8月24日;306(8):848-855。[CrossRef] [Medline
  26. 郑k, LePendu P, Iyer S, Bauer-Mehren A, Percha B, Shah N.用于数据挖掘任务的开箱式文本挖掘工具的功能评估。美国医学信息学会2015年1月;22(1):121-131 [免费全文] [CrossRef] [Medline
  27. 张志刚,张志刚,张志刚,等。利用自然语言处理提高人工图表提取效率的研究:以乳腺癌复发为例。Am J流行病2014年3月15日;179(6):749-758 [免费全文] [CrossRef] [Medline
  28. 黄硕,LePendu P, Iyer SV, Tai-Seale M, Carrell D, Shah NH。走向抑郁症的个性化治疗:预测诊断和严重程度。J Am Med Inform association 2014年11月01日;21(6):1069-1075 [免费全文] [CrossRef] [Medline
  29. Agarwal V, Podchiyska T, Banda JM, Goel V, Leung TI, Minty EP,等。使用噪声标记训练数据学习表型的统计模型。美国医学通报协会2016年11月12日;23(6):1166-1173 [免费全文] [CrossRef] [Medline
  30. Trivedi G, Dadashzadeh ER, Handzel RM, Chapman WW, Visweswaran S, Hochheiser H.临床护理中的交互式NLP:识别放射报告中的偶然发现。app clinin Inform 2019 Aug 04;10(4):655-669 [免费全文] [CrossRef] [Medline
  31. Dutta S, Long WJ, Brown DF, Reisner AT。自动检测使用自然语言处理放射科医生建议附加成像的偶然发现。Ann急诊医学2013 Aug;62(2):162-169。[CrossRef] [Medline
  32. Trivedi G, Hong C, Dadashzadeh ER, Handzel RM, Hochheiser H, Visweswaran S.从创伤患者放射报告中识别偶然发现:自动化特征表示方法的评估。Int J Med Inform 2019 Sep;129:81-87 [免费全文] [CrossRef] [Medline
  33. 维瑟JJ,德弗里斯M,科尔斯JA。使用自然语言处理在放射学报告中自动检测可操作的发现和通信提及。欧元Radiol 2022 6月06日;32(6):3996-4002。[CrossRef] [Medline
  34. Li AY, Elliot N.自然语言处理识别输尿管结石的放射报告。中华医学影像放射杂志2019年6月05日;63(3):307-310。[CrossRef] [Medline
  35. Dublin S, Baldwin E, Walker RL, Christensen LM, Haug PJ, Jackson ML,等。自然语言处理从放射学报告中识别肺炎。pharmacepidemiology Drug Saf 2013 Aug 01;22(8):834-841 [免费全文] [CrossRef] [Medline
  36. 葛伦德梅尔,马西诺,马斯诺,马斯诺,李志强,等。在放射学报告中使用自然语言处理识别长骨骨折,以支持医疗质量的提高。应用临床通知2017年12月18日;07(04):1051-1068。[CrossRef
  37. Kolanu N, Brown AS, Beech A, Center JR, White CP.放射学报告的自然语言处理用于骨折患者的识别。骨质疏松症2021 Jan 06;16(1):6。[CrossRef] [Medline
  38. 发送者JT, Cho LD, Calvachi P, McNulty JJ, Ashby JL, Schulte IS,等。自动化临床图表审查:基于胶质母细胞瘤患者的自由文本放射报告开发的开源自然语言处理管道。JCO临床癌症通知2020年1月;4:25-34 [免费全文] [CrossRef] [Medline
  39. 刘平,张平,刘平。基于自然语言处理的放射科报告中测量值的提取与分类。应用临床通知2017年12月19日;06(03):600-610。[CrossRef
  40. 程长龙,郑杰,宋国强,孙立军。从非结构化MRI报告中识别肿瘤状态——现有报告中信息的完整性和自动化自然语言处理的实用性。J Digit Imaging 2010 Apr 30;23(2):119-132 [免费全文] [CrossRef] [Medline
  41. 发信人JT, Karhade AV, Cote DJ, Mehrtash A, Lamba N, DiRisio A,等。用于自由文本放射学报告中脑转移的自动量化的自然语言处理。JCO临床癌症信息学2019年12月3日:1-9。[CrossRef
  42. Lacson R, Prevedello LM, Andriole KP, Gill R, Lenoci-Edwards J, Roy C, Fleischner学会。与放射科医生遵守Fleischner学会肺结节管理指南相关的因素。中华放射学杂志2012 7月;9(7):468-473。[CrossRef] [Medline
  43. Duszak R, Nossal M, Schofield L, Picus D.腹部超声报告的医生文件缺陷:频率、特征和财务影响。中国放射医学杂志2012 6;9(6):403-408。[CrossRef] [Medline
  44. Petkov VI, Penberthy LT, Dahman BA, Poklepovic A, Gillam CW, McDermott JH。用于肿瘤临床试验资格筛选的非结构化放射学报告中转移的自动确定。Exp Biol Med (Maywood) 2013 Dec 09;238(12):1370-1378 [免费全文] [CrossRef] [Medline
  45. 周勇,阿蒙森PK,于峰,Kessler MM, Benzinger TLS, Wippold FJ。放射学报告自动分类,方便放射学回顾性研究。J数字成像2014 Dec 30;27(6):730-736 [免费全文] [CrossRef] [Medline
  46. Hripcsak G, Austin JHM, Alderson PO, Friedman C.使用自然语言处理从889,921份胸部x线报告的数据库中翻译临床信息。放射学2002年7月;224(1):157-163。[CrossRef] [Medline
  47. 查普曼BE, Lee S, Kang HP,查普曼WW。基于ConText算法扩展的CT肺血管造影报告的文档级分类。J Biomed Inform 2011 Oct;44(5):728-737 [免费全文] [CrossRef] [Medline
  48. 陈mc, Ball RL,杨l, Moradzadeh N, Chapman BE, Larson DB,等。深度学习分类放射学自由文本报告。放射学2018年3月;286(3):845-852。[CrossRef] [Medline
  49. Yu S, Kumamaru KK, George E, Dunne RM, Bedayat A, Neykov M,等。利用自然语言处理技术,根据肺栓塞的存在、慢性和位置对CT肺血管造影报告进行分类。J Biomed Inform 2014年12月;52:386-393 [免费全文] [CrossRef] [Medline
  50. 欧洲放射学会。放射性报告的良好实践。来自欧洲放射学会(ESR)的指南。洞察影像2011年4月6日;2(2):93-96 [免费全文] [CrossRef] [Medline
  51. 艾德彦,K柏鲍姆,史密斯WL。既往放射学资料对放射学检查解释的影响。放射学1995 3;2(3):205-208。[CrossRef
  52. White K, Berbaum K, Smith WL。以前的x线片和报告在解释当前x线片中的作用。投资Radiol 1994 3月29日(3):263-265。[CrossRef] [Medline
  53. Hunter T, Boyle R.阅读以前的放射学报告的价值。中华放射学杂志1988年3月1日;30(3):697-698。[CrossRef] [Medline
  54. Bruno MA, Walker EA, Abujudeh HH。理解和面对我们的错误:放射学错误的流行病学和减少错误的策略。放射学2015 10月;35(6):1668-1676。[CrossRef] [Medline
  55. 骗我两次:放射学的延迟诊断,强调永久错误。美国放射学杂志2014年3月;202(3):465-470。[CrossRef] [Medline
  56. 扬卡斯克斯BC,五月RC,马图舍夫斯基J,保龄球JM,贾曼MP,施罗德BF。在大型社区人群中观察比较乳房x光检查对筛查性乳房x光检查的影响。放射学2011 12月;261(3):762-770 [免费全文] [CrossRef] [Medline
  57. 刘平,张平,刘平。基于自然语言处理的放射科报告中测量值的提取与分类。应用临床通知2017年12月19日;06(03):600-610。[CrossRef
  58. Sevenster M, Bozeman J, Cowhy A, Trost W.一个自然语言处理管道配对测量唯一跨自由文本CT报告。J Biomed Inform 2015 Feb;53:36-48 [免费全文] [CrossRef] [Medline
  59. 严伟,关文文,叶蒂根。放射学报告中肿瘤事件属性的分类。信息科学与技术协会杂志2017年9月14日;68(11):2662-2674。[CrossRef
  60. 张志刚,张志刚。使用混合自然语言处理算法自动检测放射学报告中的测量值及其描述符。J digital Imaging 2019 Aug;32(4):544-553 [免费全文] [CrossRef] [Medline
  61. Banerjee I, Bozkurt S, Caswell-Jin JL, Kurian AW, Rubin DL。自然语言处理方法检测乳腺癌转移性复发的时间轴。JCO临床癌症信息学2019年12月(3):1-12。[CrossRef
  62. 李志强,李志强,李志强,等。基于自然语言处理的临床文献自动编码。中国医学信息杂志2004;11(5):392-402 [免费全文] [CrossRef] [Medline
  63. 张志强,张志强,张志强,等。联邦知识图的可视化环境:交互式生物医学查询语言和web应用程序界面的开发。JMIR Med Inform 2020年11月23日;8(11):e17964 [免费全文] [CrossRef] [Medline
  64. 孙华,肖军,朱伟,何勇,张松,徐旭,等。用于增强索赔数据的欺诈、浪费和滥用检测的医疗知识图:模型开发和性能评估。JMIR Med Inform 2020年7月23日;8(7):e17653 [免费全文] [CrossRef] [Medline
  65. 施罗德,杜琴科,李志强,李志强。患者数据的图形表示:一项系统的文献综述。J Med Syst 2020 Mar 12;44(4):86 [免费全文] [CrossRef] [Medline
  66. Ujiie S, Yada S, Wakamiya S, Aramaki E.与药物不良事件相关的日语文章识别:自然语言处理分析。JMIR Med Inform 2020年11月27日;8(11):e22661 [免费全文] [CrossRef] [Medline
  67. 戴海华,李永华,李永华,李永华。基于神经注意力的家族史信息提取方法研究。JMIR Med Inform 2020年12月01日;8(12):e21750 [免费全文] [CrossRef] [Medline
  68. 自然语言解析的统计技术。AI Magazine 1997;18(4):33 [免费全文] [CrossRef
  69. 马丁内斯,词性标记。电线Comp统计2011年9月30日;4(1):107-113。[CrossRef
  70. Stubbs A, Kotfila C, Uzuner Ö。纵向临床叙述去识别的自动化系统:2014年i2b2/UTHealth共享任务概述J Biomed Inform 2015 Dec;58增刊:S11-S19 [免费全文] [CrossRef] [Medline
  71. Maiya。Ktrain:用于增强机器学习的低代码库。机器学习研究2022;23:1-6 [免费全文
  72. Usb-ai / apophenator。GitHub。URL:https://github.com/usb-ai/apophenator[2022-12-05]访问
  73. 林超,徐超,娄勇,叶山,李超,苏松,等。利用外部资源进行出院病历诊断代码分类的人工智能语义学习。J Med Internet Res 2017 Nov 06;19(11):e380 [免费全文] [CrossRef] [Medline
  74. 刘志强,李志强,李志强。基于LSTM和神经网络的语音分类方法。神经网络学报,2005;18(5-6):602-610。[CrossRef] [Medline
  75. 博雅诺夫斯基,格雷夫,朱林,米科洛夫。利用子词信息丰富词向量。计算语言学学会学报2017年12月;5:135-146 [免费全文] [CrossRef
  76. 李国强,李国强。模型评价与模型选择。见:统计学习的要素。纽约州纽约:施普林格;2009:219 - 259。
  77. Taha AA, Hanbury A.评估3D医学图像分割的指标:分析,选择和工具。BMC医学影像2015 Aug 12;15(1):29 [免费全文] [CrossRef] [Medline
  78. Lakhani P, Menschik ED, Goldszal AF, Murray JP, Weiner MG, Langlotz CP.使用结构化查询语言(SQL)开发和验证查询,以确定存储在PACS上的放射学报告中比较成像的使用。J Digit Imaging 2006 Mar 1;19(1):52-68 [免费全文] [CrossRef] [Medline
  79. 孙杰,孙志强,孙志强,王志强,等。以前影像学研究和文献的咨询和引用率。中华医学影像杂志2018年7月1日;5(03):1。[CrossRef
  80. 新x线片必须与所有以前的x线片进行比较,还是只与最近获得的x线片进行比较?中华放射学杂志,2000年3月27日(3):611-615。[CrossRef] [Medline


CT:计算机断层扫描
日本:医学数字成像与通信“,
LSTM:长短期记忆
核磁共振成像:磁共振成像
NLP:自然语言处理
政治行动委员会:图片存档及通讯系统
宠物:正电子发射断层摄影术


A Benis编辑;提交29.06.22;I Banerjee, R Sauvayre同行评审;作者意见21.07.22;修订本收到日期为13.09.22;接受30.11.22;发表21.12.22

版权

©Laurent Binsfeld Gonçalves, Ivan Nesic, Marko Obradovic, Bram Stieltjes, Thomas Weikert, Jens Bremerich。最初发表在JMIR医学信息学(https://medinform.www.mybigtv.com), 21.12.2022。

这是一篇开放获取的文章,根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)的条款发布,允许在任何媒介上不受限制地使用、分发和复制,前提是正确引用了首次发表在JMIR医学信息学上的原创作品。必须包括完整的书目信息,https://medinform.www.mybigtv.com/上的原始出版物的链接,以及此版权和许可信息。


Baidu
map