基于文本聚类的半结构化医疗报告高效数据清理在大规模粪便检查报告中的应用:方法学研究

介绍

在包括医疗领域在内的所有行业中，复杂和多样化(结构化、半结构化、非结构化)的数据几十年来一直在急剧增长[1-3.]。虽然大多数健康数据已经数字化，但处理医疗记录(如检查报告或医生的笔记)仍然不容易，因为它们在历史上是基于纸质记录的，生成的数据主要是半结构化或非结构化形式。此外，它们可能包含各种不相同的副本、印刷错误、不一致和数据输入问题[4-7]。

高性能分析需要干净和高质量的数据才能产生可靠的结果[8-11]。因此，为了提高数据质量，获得准确的分析结果，必须优先进行高效的数据清洗[12]。然而，由于印刷错误和重复的不同模式，研究人员在将数据转换为干净和高质量的数据集时通常面临许多障碍。

对于半结构化或非结构化数据的文本分析，我们可以使用付费程序，如SAS内容分类(SAS Institute Inc)或IBM Watson内容分析(IBM) [13，14]。然而，这些项目非常昂贵，而且个人研究人员不容易获得，因为它们主要卖给公司或研究小组。此外，这些课程需要大量的实践和经验。

使用Excel的“删除重复项”功能进行数据清理以前已经做过了，但使用Excel工具清理数据基本上是不切实际的。一些不相同的副本仍然存在，因为当特殊字符或标点符号出现时，它们不会被识别为副本[5，6，15，16]。重复检测工具，如Febrl系统，TAILOR和BigMatch也被用于清洗数据。然而，Febrl有可用性限制，如速度慢，错误消息不清晰，安装复杂[17-20.]。列出的程序对于没有编程和语言功能经验的普通用户来说相当复杂。

许多解释和清理本地数据集的研究人员都是领域专家，不熟悉编程语言[21]。因此，研究人员需要用户友好的清洁工具。OpenRefine可以识别所有类型的字符串并删除重复的字符串，而无需编程的困难，它是一个免费的开源工具。OpenRefine包含以下两种聚类方法:键碰撞方法和最近邻方法。我们在OpenRefine中提出了一种使用这两种文本聚类方法的数据清理过程，以提高半结构化数据的准确性。

方法

我们对1995年至2015年在三星医疗中心进行的574,266份粪便检查报告进行了数据清理。本研究的数据来自三星首尔医院的临床数据仓库DARWIN-C。根据数据清洗过程中提出的图1，我们通过聚类和合并寄生虫名称进行数据清理，并研究其性能。

如在图1，提出的数据清洗流程包括预处理、文本面、系统清洗和手动清洗4个步骤。在预处理中，使用STATA MP 14.2版本的正则表达式函数[，只提取原始文本数据中与寄生虫(如蠕虫或原生动物)有关的名称]。22]。然后将提取出来的单词上传到OpenRefine 2.7上。在文本面步骤中，浏览每个单词的出现次数。

系统的清理步骤包括文本聚类和值合并。以互补的方式使用两种聚类方法(即键碰撞和最近邻)来识别单词集群，每一种聚类都包含一个正确的单词和它的错误表示，这些错误表示具有不同形式的排版错误(称为“错误值”)。键碰撞方法的工作原理是创建一个键的替代表示，该表示只包含字符串中最重要或最有意义的部分，并基于相同的键将不同的字符串聚类在一起。由于键碰撞方法在各种上下文中快速而简单，因此它们经常用于文本聚类。我们在OpenRefine中依次使用了指纹、N-gram指纹、Metaphone3和Cologne phonetic 4种键碰撞方法。最近邻方法(也称为kNN)也广泛用于聚类。这些方法较慢，但更准确，因为它们计算每个值之间的距离。我们依次使用了两种最近邻方法，Levenshtein距离法和OpenRefine中的偏匹配预测法。我们将这两种方法结合起来以提高准确性[23]。

对于每个识别的集群，通过值合并将错误的值转换为正确的词。因为OpenRefine提供了一个方便的用户界面，在每个聚类中按出现频率降序列出正确的单词和错误的值，因此研究人员可以轻松识别正确的单词并进行值合并任务。为“Clonorchis sinensis”在大便检查报告数据中，在同一聚类中发现了多种错误表达，如clonorchis sinesis, clnorchis sinensis, clonorchis cinensis, clonrchis sinensis, clornorchis sinensis (图2）.通过查看单词表，我们能够有效地选择“Clonorchis sinensis作为正确的单词，并迅速决定将所有其他单词转换为“Clonorchis sinensis“在最后一步中，我们会对不属于任何集群的剩余单词进行调查，并在必要时手动清理。

‎ 查看此图

‎ 查看此图

结果

在574266份粪便检查报告中，共调查了1167104个单词，与蠕虫或原生动物名称无关的单词被排除在研究之外。我们发现了30个正确的单词和45种印刷错误和重复的模式(多媒体附件1）.关键碰撞法能够聚类印刷错误和与正确单词重复的模式，除了6个模式。最近邻方法能够聚类印刷错误和与正确单词重复的模式，除了2种模式(表1）.

单词“native”是所有聚类方法中唯一没有被聚为“negative”的模式，因为这两个单词的不一致率很高(2/6个字符，33%)。除“本机”外，所有印刷错误和重复都正确地聚在一起。当使用这两种聚类方法时，我们获得了98.61%的排版错误单词数和97.78%的排版错误模式数的高正确率(表2）.在系统清理了1167,104个单词的数据后，只剩下1个拼写错误的单词，需要手动修改。因此，基于总字数，系统数据清洗的准确率接近100%。

讨论

许多研究者对数据分析方法进行了大量的研究，但对意外排版错误的数据清理方法的研究相对较少[24，25]。很难找到一份定量分析数据清洗方法性能的报告，因为它们通常没有记录，并以非官方的方式使用[24]。本文提出了一种有效的大规模医学文本数据清洗方法，并对其清洗性能进行了研究。虽然存在多种文本分析方法，但对于一般研究者来说，使用这些方法并不容易。大多数方法都不容易使用或在可用性方面有限制。因此，需要更可行和用户友好的方法来清洗大规模文本数据集。

我们使用OpenRefine进行数据清理是因为它有以下优点。首先，个人研究人员可以很容易地访问和使用OpenRefine，因为它是一个免费的开源工具。其次，OpenRefine为研究人员提供了一个简单的界面，可以在没有编程困难的情况下清理数据。第三，人们可以很容易地手动修复罕见的排版错误(这些错误不会自动更正)，并有机会修改假阳性聚类[6，23]。

但是，我们仍然需要花费大量的精力来检查每个聚类结果并决定是否合并，特别是在聚类数量非常大的情况下。此外，OpenRefine还没有正式的技术支持，它由用户论坛或社区提供支持。尽管存在这些限制，OpenRefine仍然是一种有用且有效的支持工具，可用于对半结构化数据进行劳动密集型和耗时的数据清理。

我们的数据清理过程可以应用于其他类型的半结构化文本数据，因为我们观察到组合使用键碰撞和最近邻方法可以产生高效可靠的数据清理。