提高消费者对医学文本的理解:一种新的自动生成英语和西班牙语术语解释的SubSimplify算法的开发和验证

介绍

背景与意义

文本是健康相关信息的重要资源，因为它易于创建和分发。此外，健康文献以网络资源的形式广泛提供，供人们获取有关医疗条件、疾病和治疗方式的信息[1]。然而，这些文件的写作水平往往超出了一般读者的理解能力[2]。这种脱节反映了有关健康状况的错误信息的总体趋势[3.，4]。

为了缓解这个问题，研究人员已经寻求自动方法来提高这些文本的可读性和由此产生的读者理解。这个自然语言编程(NLP)任务被称为文字简化(5]并被用来创造监督的[6]，半监督的[7]，以及全自动工具[8]通过增加可读性使文本更容易被消费者理解[9]。这项研究的核心挑战是开发资源和技术，以提高这些系统的质量和准确性。尽管深度神经网络方法和其他自动翻译算法正在越来越多地发展，但在它们能够产生足够的影响和精确的简化之前，还需要时间。我们打算让我们的算法补充现有资源，并为其他算法生成有用的输入。

第一步是确定文本的难点。以前的一些研究侧重于简化单个术语，而另一些研究则侧重于语法结构。为了确定单个术语的难度，我们使用术语熟悉。对于给定的术语，可以通过提取该术语在常用语言用法中出现的可能性来计算该度量[10]，我们根据b谷歌Web语料库中该术语的频率[11]。在这项工作中，我们增加了识别这些术语并将其替换为更容易的同义词的研究[12]。然而，我们超越了现有的方法，为可用资源中不存在的术语生成了新的解释。为此，我们开发并评估了一种新的算法来生成新的解释。我们使用单词内部解析和使用SubSimplify的词缀字典以普通语言生成术语解释。

查找困难术语解释的资源

理想情况下，应该有一个无穷无尽的专家为困难术语撰写的解释资源，并以多种语言为公众进行优化。然而，很少有资源能够提供适当的解释，甚至更少的资源能够自动或半自动地产生这样的解释。

最接近理想的资源是英语消费者健康词汇(CHV) [13]，并纳入统一医学语言系统(UMLS) [14]。此资源是手动创建的，并以用户友好的语言提供医学术语的同义词和定义。为了简化文本，这些简单的语言定义和简单的同义词可以作为对困难术语的现成解释。然而，相对于在给定医学文本中出现的困难术语的总数，解释的数量是低的。CHV包含在UMLS中找到的概念的2567个唯一定义和88,529个同义词。我们没有使用UMLS作为资源，因为该系统侧重于将复杂的医学概念映射到本体上，而不是设计用于将健康信息与患者或医疗领域以外的任何其他人联系起来。

先前的研究表明，CHV可以用来简化文本[15-17]，但也有证据表明，在为专业研究提供摘要时，它包含的术语和对消费者友好的词汇不够多[18]。此外，虽然这个资源很好地针对文本简化进行了定制，但它仅限于英语术语和解释。总之，CHV提供的解释可以在给定的简化系统中自动获取。然而，CHV只在英语中，只有相对较少的术语，有时会包含超出一般读者阅读水平的术语。

虽然不是医学上的重点，WordNet是一个有用的文本简化资源。它是一个在线词汇数据库，包含术语和定义，以及词间语义关系，如上义、下义、同义词和反义词[19]。WordNet提供了128,391个英语词义定义，也提供了西班牙语版本，尽管形式不太完整[20.]。由于WordNet不是一个医学资源，它的许多解释对于医学文本简化来说并不是最理想的，而且当一个单词提供了几种含义时，并不总是清楚哪一种最适合医学含义。以前，WordNet被用来提供同义词来简化词汇[21]。例如，上下关系已被用于生成更简单(更通用)的同义词，以简化文本[22]。在其他领域，该资源已被用于简化生物分子领域的文本[23]以及为非英语母语者写的文本[24]。总之，虽然WordNet比CHV大，而且也有西班牙语版本，但该资源并不总是最适合给出医学术语的定义。

最近在大型文本体上训练的神经网络的发展产生了更大的资源，如词嵌入，其中词由多维词向量表示。所得到的向量在多维空间中相对于彼此定位单词，并且已被证明具有语义和句法关系，使我们能够自动找到同义词和语义相关的术语[12]。给定一个单词，我们可以使用它的向量表示来找到向量最接近这个单词的单词。通常，这个最近的向量是一个同义词。该资源的一个免费版本是预训练的单词表示全局向量(也称为GLoVe) [25]。先前的工作表明，这些向量可以证明在文本简化领域中对分离简单但更频繁的术语是有用的[26]。但是，它们可能包含虚假匹配，因为该方法无法区分反义词和同义词。考虑到这个资源是完全自动化的，可以从给定相对较大的文本主体的任何语言生成单词向量模型。这意味着该资源也可用于西班牙语，在线提供预训练向量[27]。在我们的研究中，我们对英语和西班牙语使用GLoVe预训练向量[27]，将这种方法更一般地称为词嵌入向量(WEV)。

总的来说，现有的解释生成方法的范围从特定的、精确的、低覆盖率的到高覆盖率的、相对精度低得多的方法。在下一节中，我们将描述我们的方法，它存在于这些资源之间的范围内。

方法

使用形态学信息生成解释

我们首先描述了形态学单位在医学术语中的作用，然后介绍了我们的算法，该算法利用这些形态学单位提取信息并生成解释。

上面所描述的资源孤立地使用了一个单词的定义，而没有参考该单词的内部特征(即单词的形态学)。虽然并非总是如此，但浪漫语言通常包含包含相对清晰语义的形态学单位，例如前缀的情况反-(“against”)，或者后缀-年代(表示复数)。在英语和西班牙语的某些单词中，这些可以帮助人们破译单词的意思。在医学上，英语和西班牙语中的许多术语都源于希腊语和拉丁语[28，29]。希腊语和拉丁语词缀的意思一般读者不知道，但它们反映了一个词的整体意思。虽然有时一个词的意义是这些形态单位的意义组成的直接函数，但在很大程度上，在英语和西班牙语中，由这些单位组成的术语往往具有格式塔效应。在极端情况下，一个术语可能与其形态单位的含义完全不同(例如，“分类帐”并不意味着“壁架”+呃)。然而，对于医学术语来说，语义漂移的问题并不大，这似乎是因为医学术语比非医学术语受语义漂移的影响更小。

组成医学术语的词缀通常有明确的定义，反映了一个词的意思。例如，给定前缀有氧运动,我们知道这个词的意思与“心”有关。一些包含这些词缀及其定义的资源可在网上免费获得[30.-33]。根据这些，我们创建了一个独特的词缀词典，以及每种语言的词缀定义。我们提取了586个英语词缀和498个西班牙语词缀。我们把词缀定义为任何一个词素单位，它除了单词本身之外还有一些外延。词缀按其位置分类，前缀出现在单词的开头，后缀出现在单词的末尾。词根是任何可以单独作为一个单词存在的形态学单位。例如，术语心血管包含前缀有氧运动,，根血管。这些形态单位分别表示心脏和由一个或多个容器组成的,分别。尽管许多资源可能不包含的定义心血管，通过解析这些形态单位，我们可以自动生成反映术语实际外延的解释:与心脏和血管有关的。

在西班牙语和英语中，单词可能由多个后缀、词根和前缀组成。SubSimplify利用这一事实生成一个术语的解释。表1展示了西班牙语和英语中词缀的例子及其定义。

除了这些词缀词典，我们还使用词干提取[34]来分离术语的有茎或有外稃的版本。词干化和词根化是两种不同的方法，它们将一个术语简化为与其词根相似的东西，但这种方法并不总是反映实际的词根。例如，像WordNet这样的资源可能有一个定义Gastrointestine，但不是Gastroinstestinal。通过词干和剥离词缀状态”，我们利用所有资源提高寻找解释的能力。

图1提供了我们的SubSimplify算法的概述。SubSimplify的输入是一个我们认为比较困难的术语，我们递归地查找词缀，并通过累积所识别的每个词缀和词根的定义来生成解释。完成后，我们将对齐这些定义，以提供对该术语的解释。

我们使用词缀字典来程序化地识别词形单位。首先，系统识别词缀，然后取出单词中不是词缀的部分，并对该术语的词根变体执行数据库查找。为了避免虚假匹配，我们从大后缀到小后缀，因此，反就像在平凡的主角会和之前一样a -就像在要。这个过程迭代地进行，直到没有词缀匹配，或者直到没有剩下词根。为了按顺序描述这个过程，文本框1给出每个步骤的详细描述。

由于单词可能包含多个后缀，因此该过程可能会发生多次。也就是说，当我们提取根时，该根可能还包含另一个后缀或前缀。为了强调这一点，我们提供了一个包含术语的示例高血糖的在文本框2。

‎ 查看此图

这个过程会重复，直到没有根，或者直到剩余的根无法被任何资源识别。为血糖，系统将识别"随后glyc -停在-嗯- - - - - -。

如果术语包含“-”或任何其他非言词角色，我们也把它们分开。然后将解析的词缀和词根与其解释对齐，以提供一个词缀一个词缀的术语分解。对于系统中未识别的任何词缀，例如-嗯- - - - - -在高血糖的，根的定义仍然是根本身。在呈现术语时，这些词缀根据顺序和颜色与其定义相匹配，以便作者尽可能容易地识别。的示例解释高血糖的显示在表2。这个表格包含了对一些不同的困难术语的解释，以突出它们的质量。请注意，并非所有资源都包含对所有术语的解释，因此所有资源都能够为单个术语提供解释的情况极为罕见。

而CHV [35]和WordNet摘要资源提供了整句解释(语义简化)，WEV和WordNet同义词提供了每个术语的单字解释(词汇简化)。SubSimplify提供了两者的混合:对于单个已解析的子词单元，提供同义词或简要描述。

接下来，我们描述了两项研究，旨在评估这些英语和西班牙语解释的质量、覆盖范围和有用性。

研究

为了评估新生成的解释的质量、覆盖范围和有用性，以及它们与现有资源的比较，我们进行了两项研究:一项用英语，一项用西班牙语。

学习一:英语术语解释生成

研究刺激

刺激

为了获得常见文本中出现的一系列医学术语，我们从维基百科中提取了20个关于医学主题的文档和100个PubMed摘要。从这些文档中，我们使用术语熟悉度提取困难的术语。为了本研究的目的，我们将困难术语定义为在b谷歌Web语料库中频率低于第5000位的术语，之前的工作表明这是一个合理的标准[7]。考虑到这些困难的术语，我们从每种资源类型(PubMed和Wikipedia)中选择了200个术语，在所有文档中进行平衡(分别为100和20)。为了研究频率的影响，我们还按频率平衡了每组200个难词。根据高频和低频提取两组。高频项是频率在最高的五分位数内的项，而低频项是频率在最低的五分位数内的项。该研究总共包含400个术语，这些术语平均分布在高频和低频、文档源和文档本身。

解释一代

我们将我们的方法与之前的四种方法进行了比较:CHV、WordNet同义词和摘要以及WEV。当在这些资源的数据库中可以找到完全匹配的术语时，这些资源会提供解释。

指标

对于这400个术语中的每一个，我们计算了3个指标:质量、覆盖率和有用性。质量由学科专家(SEs)评判。本研究要求社会服务人员(1)以该语言为母语，(2)至少拥有公共卫生或医学相关领域的硕士学位。这些专家通常有评估医疗资源质量的经验，在这项研究中，他们的时间得到了经济补偿。

质量，这两个se审查了每个术语以及候选定义和解释。对于每一个定义或解释，SEs在4分李克特量表上注释了它的有用程度。表3提供每个评级级别的描述。通过计算每个来源提供解释的术语的百分比来测量覆盖率。有用性是一个比质量更广泛的衡量标准，并考虑到术语和资源的可用性。当没有找到一个词时，它得到0分。虽然质量让我们知道资源解释有多准确，但有用性告诉我们，如果我们将这种资源用于所有术语，它将表现得有多好。

过程

SEs评估了每个资源提供的400个术语和相应的解释。每个学期的讲解顺序是随机的。对于每一个术语，se根据上面描述的质量和覆盖度量对术语进行评分。然后，我们通过覆盖标准化质量来计算有用性。

为了直观地了解这项研究是如何进行的，图2包含包含研究步骤的流程图。

‎ 查看此图

评价结果

Interoperator可变性

为了比较每个社会经济等级之间质量分数的可变性，我们计算了Crohnbach alpha。由于我们没有将质量评级限制为排名顺序，因此每个术语有可能在每个术语中有多个获得最佳分数的解释。因此，我们用两种方法来计算Crohnbach alpha。首先，在保守版本中，我们计算每个SE是否为每个术语选择了所有相同的最佳解释，在更自由的版本中，每个SE是否为每个术语选择了一个相同的最佳解释。对于英语，保守版本和自由版本的结果分别为0.69和0.90。因此，我们确定互操作的可靠性足够高，可以平均他们的评级。表4用英文显示每个解释源的质量、覆盖率和有用性度量的结果。

在表4，我们看到每一列表示解释来源，3行给出了跨se的平均指标。例如，CHV在场时的平均质量分数为2.81，但在总共400个术语中，CHV只能提供24个术语的解释。随后，对于400项，其有用性仅为0.169。回想一下，该资源代表手动生成的资源，以帮助简化医疗文档中的词汇。其结果是，质量评级相对较高，但覆盖率是迄今为止最低的。接下来，我们看到WordNet摘要和同义词各自提供了相同数量的解释。然而，摘要(语义简化)得分远高于同义词(词汇简化)，分别为3.32分和2.09分。同样，考虑到它们只提供了212个术语的解释，它们的有用性分别只有1.76和1.11。虽然SubSimplify的质量得分为1.64，但其覆盖率为322，而WordNet的覆盖率为212，这意味着400的覆盖率从53.0%增加到80.5%困难的方面。因此，SubSimplify的有用性为1.32，高于WordNet同义词和CHV。最后，WEV提供了最大的覆盖率，并且在质量上与SubSimplify相同(1.64)，但具有更高的覆盖率(335)和质量(1.38)。然而，正如我们在下一小节中所描述的，SubSimplify和WEV的质量性能之间存在明显差异。与WEV相比，SubSimplify在低频词和更多技术文献中的表现更好。

质量

为了评估显著性，我们进行了2×2×5方差分析(ANOVA)，以质量为因变量。独立指标为文献来源(Wikipedia或PubMed)、频次(Low或High)和五个解释来源(CHV、WordNet Synonym、WordNet Summary、SubSimplify和WEV)。主要影响因素是频率(F₂₁₈₆= 3.859,P<.02)和解释类型(F_{4, 2186}= 260.1,P<措施)。这表明，平均而言，资源在较低频率术语上的表现明显更好，并且资源之间存在显着差异。

除了主要影响外，解释类型和频率之间存在显著的双向交互作用(F₂₁₈₆= 2.993,P<措施;图3)。图3包含每个资源在低频和高频的平均质量。鉴于我们的文档包含医学术语，我们预计低频词是最罕见的，因此也是最具技术性的。对于任何试图总结这些文件的系统来说，它们都是最困难的目标。例如，专门为医学术语编写的CHV在低频术语方面的性能要比高频术语高得多(3.12 vs 1.74)。此外，WordNet同义词和摘要在低频率术语上的表现都略好于高频术语。有趣的是，SubSimplify也遵循了这个模式。然而，WEV有相反的趋势。WEV不仅在高频项上的表现优于低频项，而且在低频项上的表现也略低于SubSimplify(对比SubSimplify的1.67评级和WEV的1.63评级)。

报道

为了评估频率和文档来源对每个资源覆盖率的影响，我们使用覆盖率作为因变量进行了另一个2×2×5方差分析。主要影响因素是频率(F₃₉₇₀= 3.859,P<.001)和解释类型(F_{4, 3970}= 260.1,P<措施;指表2这表明，平均而言，解释对高频术语的覆盖范围明显大于低频术语。

解释类型与频率之间存在显著的双向交互作用(F₃₉₇₀= 6.557,P<.001)以及解释类型和文档来源之间的显著交互作用(F_{4, 3970}= 11.523,P<措施;图4)。

‎ 查看此图

‎ 查看此图

从左边可以看到图4术语频率影响每种解释类型的覆盖范围。CHV对低频和高频术语的覆盖率相似，而WordNet对高频术语的覆盖率远高于低频术语(0.47 vs 0.77)。然后，SubSimplify将低频术语的覆盖率从0.47增加到0.78，将高频术语的覆盖率从0.77增加到0.79。最后，WEV略微增加了低频词的覆盖率(从0.77增加到0.78)，但增加了高频词的覆盖率，从0.79增加到0.94。这表明SubSimplify在低频和高频条件下的表现非常相似，就像CHV的情况一样，但总体覆盖范围要大得多。

接下来，我们看一下文档源和覆盖的交互作用。回想一下，PubMed比Wikipedia资源包含更多的技术医学术语，因此，它构成的术语应该包含更多的技术术语。在…的右边图4，我们看到CHV、SubSimplify和WEV在PubMed中的覆盖率都高于Wikipedia，而WordNet在Wikipedia文档中的覆盖率更高。x轴描述了PubMed和Wikipedia中每个解释源的比例覆盖率，y轴包括覆盖率的变化。例如，WordNet为PubMed(0.48)提供的解释比维基百科(0.52)少，而SubSimplify为PubMed(0.8)提供的解释比维基百科(0.75)多。需要注意的一个关键点是，SubSimplify具有与WEV相同的覆盖范围。这表明SubSimplify在技术医学文本中的表现与全自动WEV一样好。

有用性

接下来，我们以有用性为因变量执行另一个2×2×5方差分析。只有解释类型有主效应(F_{4, 3970}= 95.170,P<措施;指表2，第3行)和频率(F₃₉₇₀= 14.663,P<措施)。这表明，在不同的解释中，有用性评级显着不同，平均而言，高频术语的有用性评级显着更高。

解释类型与频率之间存在显著的双向交互作用(F₃₉₇₀= 5.390,P<.001)以及解释类型和文档来源之间的显著交互作用(F_{4, 3970}= 6.387,P<措施;图5)。

正如在图5在左边，术语频率影响每种解释类型的有用性。CHV对低频词汇比高频词汇更有用，WordNet同义词对高频词汇比低频词汇更有用(1.50比1.00)。WordNet摘要对高频术语的有用性得分最高(2.40)，对低频术语的有用性得分虽低，但仍然很高(1.62)。与此同时，SubSimplify对低频术语的有用性要高于高频术语(1.43 vs 1.35)。最后，WEV在高频项上的得分高于低频项(1.64比1.42)。这证实了SubSimplify是一种对低频术语表现最好的资源。

接下来，我们看一下文档源和覆盖的交互作用。回想一下，PubMed比Wikipedia包含更多的技术医学术语，因此，它所构成的术语应该包含更多的技术术语。在图5，我们看到WordNet在维基百科上表现得更好，SubSimplify和CHV在PubMed上都表现得更好。这肯定了SubSimplify在更多的技术文档上表现最好。

总结

对于英语研究，我们发现SubSimplify在覆盖率方面比现有的医疗资源表现得更好，并且在覆盖率方面具有相对较高的质量。此外，与CHV非常相似，SubSimplify在低频和更专业的术语上比高频术语表现得更好。此外，该资源对PubMed摘要中发现的术语的覆盖范围是所有资源中最大的。这些质量、覆盖范围和有用性结果表明，与其他现有资源相比，SubSimplify能够更好地为低频率和技术术语生成解释。

研究2:西班牙语术语解释生成

第二项研究用西班牙语评估了我们的方法。除了两个不同之处之外，这项研究与英语研究完全相同。首先，没有西班牙语CHV，西班牙语的WordNet只包含摘要(没有西班牙语同义词;我们使用的版本只包含映射到英语同义词的西班牙语术语)。因此，我们只使用了WordNet摘要，并只比较了三种可能的解释资源:我们的方法(SubSimplify)、WordNet和WEV。其次，由于没有西班牙语的PubMed摘要，对于我们的第二个资源，我们使用了Medline Plus [36，它是一个面向对健康信息感兴趣的人的医学文章资源。最后，所有的说明、评分和解释都是西班牙语。

‎ 查看此图

研究刺激

刺激

我们测试了400个医学术语，按频率平衡。为了获得在普通文本和更专业的文本中出现的一系列医学术语，我们从维基百科中提取了20个关于疾病主题的文档和20篇Medline Plus文章。从这些文档中，我们首先使用相同的术语熟悉度阈值提取困难术语。我们的截止频率低于西班牙语b谷歌网络语料库中最常见的第5000个术语[10]。在这些术语中，我们平衡了低频和高频的术语。总之，我们将这400个术语分为高频和低频以及文档源。

解释一代

我们将我们的方法与之前的两种方法进行了比较:WordNet和WEV。当在这些资源的数据库中可以找到完全匹配的术语时，这些资源会提供解释。

指标

对于这400个术语中的每一个，我们提取了解释。对于每种解释，我们都计算了质量、覆盖率和有用性。

过程

除了所有的说明和解释都是用西班牙语写的外，程序与英语完全相同。这些高级社会服务人员都是西班牙语和英语双语人士，但都获得了英语公共卫生硕士学位。

评价结果

Interoperator可变性

同样，我们计算了自由和保守两种版本的克罗恩巴赫alpha。对于西班牙语，保守版本和自由版本的结果分别为0.64和0.90。因此，我们再次确定互操作人员的可靠性足够高，可以将其质量评级合并为一组。

表5显示了每个西班牙语解释源的质量、覆盖范围和有用性的结果。可以看出，WordNet在三个资源中具有最高的平均质量评级(2.64)，但提供了最低的覆盖率(20.5%)，其结果有用性较低(0.543)。SubSimplify的覆盖率要高得多，达到90%，平均质量评分较低(1.49)。最后，WEV提供了更高的质量评级(1.84)，但覆盖率低于SubSimplify(89.75%)。关于有用性，WEV优于SubSimplify (1.77 vs 1.24)。

给定这些结果，我们执行方差分析来理解每种解释类型的质量、覆盖率和有用性的频率和文档来源之间的关系。

质量

我们执行2×2×3方差分析来评估文档来源(Wikipedia或PubMed)和频率(高或低)对三个解释资源(WordNet, SubSimplify和WEV)的质量评级的影响。主要影响因素是频率(F₁₅₉₀= 13.39,P<.001)和解释类型(F_{2, 1590}= 98.805,P<措施;指表3这表明，平均而言，解释在高频术语上的表现明显更好，并且基于其类型的解释的平均质量之间存在显着差异。

解释类型和频率之间也存在显著的双向交互作用(F_{2, 1590}= 12.010,P<措施;图6)。图6显示频率与解释类型的交互作用。x轴描述了每个解释源在低频率和高频率下的平均质量，y轴包括平均质量评级的变化。SubSimplify在低频术语(1.54)上的表现优于高频术语(1.48)，而WEV在低频术语(1.68)上的表现低于高频术语(2.03)。

报道

我们执行2×2×3方差分析来评估文档来源(Wikipedia或MedlinePlus)和频率(高或低)对三个解释资源(WordNet、SubSimplify和WEV)的覆盖率评级的影响。频率也有主要影响(F₂₃₈₂= 7.180,P<.001)和解释类型(F_{2, 2382}= 1142.361,P<措施;指表3)。这表明，平均而言，这些解释在高频术语上的覆盖范围明显更好，并且基于其类型的解释的平均覆盖范围之间存在显着差异。

解释类型与频率之间存在显著的双向交互作用(F_{2, 2382}= 4.465,P<.015)，说明类型和文档来源之间存在显著的交互作用(F_{4, 2382}= 6.259,P<措施;图7)。对于西班牙语术语，术语频率影响每个资源的覆盖范围，见图7在左边。对于WordNet，低频术语(0.22)的覆盖率略高于高频术语(0.20)，但两者都相当低。对于SubSimplify，高频术语(0.92)的覆盖率高于低频术语(0.87)。WEV也是如此，高覆盖率和低覆盖率分别为0.93和0.86。这表明在西班牙语中，SubSimplify对低频术语的覆盖率最高，而WEV对高频术语的覆盖率最高。

对于文档源，WordNet对MedlinePlus术语的覆盖率(0.25)大于对Wikipedia术语的覆盖率(0.20)。同样，SubSimplify在MedlinePlus的技术性术语上的表现(0.93)优于在Wikipedia的一般性术语上的表现(0.87)。然而，WEV却有相反的效果，维基百科为0.93,MedlinePlus为0.86。简而言之，WEV在较少的技术性文本和高频术语上表现更好，而SubSimplify在低频术语和更多的技术性文本上表现更好。

‎ 查看此图

‎ 查看此图

‎ 查看此图

有用性

我们执行了相同的2×2×3方差分析，但这次以有用性作为依赖度量。结果表明，频率(F₂₃₈₂= 16.197,P<.001)，解释类型(F_{2, 2382}= 230.268,P<.001)，以及文件来源(F₂₃₈₂= 6.737,P<措施)。这些结果表明，平均而言，解释在高频术语和维基百科文档上的表现要好得多。这也表明在解释类型的有用性度量上存在显著差异(参见表3第3行)。

此外，解释类型与解释频率之间存在显著的双向交互作用(F_{2, 2382}= 17.911,P <措施)。图8描述这种交互。请注意，WordNet摘要在低频率和高频术语上的表现几乎相同(0.6)。这种模式也适用于SubSimplify(两者都是1.4)。最后，WEV在高频项上的有用性比在低频项上的有用性要好得多(1.9 vs 1.4)。

总结

对于西班牙的研究，我们发现SubSimplify在覆盖率方面比WordNet和WEV表现得更好。具体来说，它在低频和更专业的术语上表现最好;其平均质量低于其他两种资源，但在低频时较好。

结果

在英语和西班牙语中，SubSimplify的低频率质量评分最高，这两种语言的评分相似。此外，在两种语言中，SubSimplify在覆盖率方面有相似的结果。在英语和西班牙语的研究中，我们看到SubSimplify在为困难术语提供多词解释的能力上大大优于现有资源。也就是说，SubSimplify在英语的质量上优于CHV和WordNet摘要，在西班牙语的质量上优于WordNet。此外，它以低频率和更技术性的文本提供了最多的解释。

与此同时，我们所展示的许多质量和覆盖范围涵盖了重叠的数据。在这里，我们已经评估了这些资源的覆盖范围，如果我们将它们全部应用到一个系统中。这样做将突出SubSimplify在更大的简化系统中可以发挥的作用。考虑到每种语言的400个术语，图表在图7突出显示每个资源的累积覆盖率。鉴于并非所有资源都涵盖相同的单词，这些条形图显示了系统的覆盖范围，其中包括来自前一个资源的每个不重叠的解释或同义词。

左边，CHV提供了最低的23个覆盖率，WordNet提供了212个，SubSimplify提供了322个，最后，WEV提供了400个中的336个。在右边，我们看到了当我们用西班牙语添加每个资源时，我们的系统可以提供的解释数量。例如，如果我们只使用CHV，我们只能提供23个术语的解释。然而，随着我们添加每个资源，我们可以提供解释的(不重叠的)术语的数量也在增加。加上WordNet，我们可以提供222个术语的解释;然后通过添加SubSimplify，我们可以提供349的解释。最后，通过添加WEV，我们可以提供400个术语中的385个解释，占所有术语的99%。

‎ 查看此图

‎ 查看此图

SubSimplify作为一种中间资源，介于全自动的、提供同义词的WEV源和由注释者编写的CHV和WordNet资源之间。在其半自动方法中，它增加了所有简化系统都可以提供多词解释的总术语的覆盖范围。当我们查看所有解释的累积有用性时，这一点也很明显，这可以在图9。这里我们提供了所有条款相加的累积质量评级。例如，在英语中(左)，CHV质量是对所有400个术语的解释的平均评分，其中大多数为0。然后+WordNet同义词给出这两个资源组合的平均质量。当两个资源各提供一个解释时，我们采用两个资源中评分较高的解释。结果是，通过将SubSimplify与所有资源结合使用，这个简化系统可以提供英语和西班牙语的有用性评级分别为2.64和2.09的解释(右)。

讨论

主要研究结果

英语和西班牙语研究的目的是评估使用SubSimplify对医学文本的效果，结果显示了预期的结果。与WordNet和CHV相比，平均而言，解释的质量较低。这可能是一些不同问题的指示，我们将在限制中展开。

令人惊讶的是，WEV的全自动系统超出了我们的预期。在创建SubSimplify时，我们设想会有许多与困难术语无关的虚假匹配和同义词，但是结果显示出比预期更好的性能。基于此，我们有动机采用WEV作为SubSimplify中词根同义词的另一种来源方式。也就是说，在其当前形式中，SubSimplify在解析每个词缀之后在WordNet(以及英语中的CHV)中执行术语查找。基于这些结果，我们有动机让系统在这个阶段也执行WEV查找。

使用SubSimplify的一个挑战是最大化解释本身的可理解性。虽然现有资源包含该术语的单一定义，但SubSimplify依赖于将多个定义组合在一起以形成单一解释。目前，该系统采用一种颜色编码方案，将一行上的形态单位与其在另一行上的定义联系起来。这可能会使一些人难以阅读，当人们不习惯看到这些定义时，有效地降低了质量。为了缓解这个问题，我们的团队计划实现几种不同的格式，并在不久的将来在交互式Web程序中对它们进行测试。

限制

SubSimplify自然受到两个因素的限制。首先，并非所有疑难医学术语都包含子词单位，此外，并非所有子词单位都匹配或完全准确。这是因为并非所有术语都包含形态单位，系统无法知道单词中的哪些字符是后缀的实际例子。除此之外，即使它们是词缀的正确匹配，也不能保证术语的实际含义直接反映了其中发现的词缀。例如，它可以提供一个意义反和- - - - - -的身体在抗体。但是解释是对身体不能反映该术语的实际含义。

另一种可能性是，SubSimplify生成的许多解释可能是不完整的。例如，它可以提供-的含义艾尔在远端但没有意义dist。。结果将是任何人都难以理解的。然而，该系统确实提供了手工注释和自动文本之间的桥梁，因此，应该服从于这些类型的例外和有问题的情况。

其次，由于使用WordNet和CHV, SubSimplify也受限于这些资源的覆盖范围。然而，我们相信这项工作为一个旨在为复杂术语提供解释的系统提供了有用的补充。

结论

SubSimplify的定位是利用医学术语中形态单位的规律性，为将难懂的术语分解为易于理解的术语提供一个窗口。SubSimplify将随着用于创建它的资源的改进而改进。此外，我们想看看多词短语，因为它们经常揭示单个单词上下文无法单独提供的上下文含义。这种方法的目的是作为一种额外的资源，可以添加到其他方法中，以自动为困难的文本提供解释。该系统产生的解释大大增加了困难术语的数量，从而可以提供更容易的替代方法，从而在医学领域的文本简化领域取得了进步。