基于web的专家论坛请求自动分类的文本挖掘和自然语言处理方法

简介

健康人和病人越来越多地使用电子媒体获取医疗信息和建议[1］．互联网用户积极地与他人就他们感兴趣的话题交换信息，或向网上的专家论坛或所谓的“询问医生”服务提出请求。2，3.］．他们希望了解特定的疾病，了解新的治疗方法，或者在决定治疗方法之前征求第二种意见。4-6］．此外，这些专家论坛还代表了用于医疗和/或心理需求的地震仪，这显然是现有的卫生保健系统无法满足的[5，7］．

过去，通过因特网的电子邮件、电子咨询和医疗咨询请求都是通过定量或定性的方法人工分析的[1-6］．为了方便医学专家的工作和充分利用专家论坛的地震学功能，将访问者的请求自动分类是有帮助的。通过这样做，可以将特定的请求定向给适当的专家，甚至半自动地回答，从而提供全面的监控。通过生成“常见问题”(FAQs)，甚至在专家回复之前，就可以对类似的患者请求及其相应的答案进行整理。基于机器的分析可以帮助公众更好地处理大量信息，也可以帮助医学专家提供专业的反馈。此外，这种方法可用于帮助决策者认识到人口的健康需求[8］．

文本挖掘[9是一种对大量文档自动分类的方法，可以应用于当前的问题。这种技术通常由有限的步骤组成，例如将文本解析为单独的单词，查找术语并将其简化为基本内容(“截断”)，然后是分析程序，例如聚类和分类，以在结构化数据中导出模式，最后是对输出进行评估和解释。典型的文本挖掘任务包括文本分类、概念/实体提取、情感分析和文档摘要。这项技术已成功应用于自动索引、确定和分类消费者投诉，以及处理以电子邮件发送给公司的地址要求更改。文本挖掘也用于基因组分析、媒体分析，以及大型数据库中用于检索目的的文档索引[8-11］．

对医学专家互联网论坛的外行请求进行自动分类是一项挑战，因为这些请求可能很长，而且由于混合(例如，个人经验和实验室数据)而没有结构。很多时候，人们只是需要心理上的帮助或寻求情感上的安慰。这种不同的请求样本出现在德语的“希望有个孩子”一节中Rundums Baby(关于婴儿的一切)网站[12，为父母、准父母和不育夫妇提供信息。

虽然非自愿无子女不是本文的重点，但对这种情况的一些介绍性说明可能会有所帮助。导致非自愿不育的不孕症被定义为一对夫妇在一年或更长时间的定期、无保护措施的性交后无法受孕或足月怀孕。不育夫妇可能会经历不同的反应和感受阶段，包括震惊、惊讶、愤怒、无助和失控。失败、尴尬、羞愧和污名化的感觉可能会导致社会孤立和夫妻之间沟通的中断，包括抑郁反应、焦虑、情绪不稳定、自信心下降、性问题和冲突[13］．

绝大多数男性不育症是由于精子数量低，通常与运动性差和异常精子率高有关。然而，在大量患者(25%至30%)中，无法确定问题的原因。女性不孕的主要原因是卵巢功能障碍和输卵管和子宫的紊乱。通常，在一个病人身上可以发现两种甚至全部三种病因。1980年以前，由于精子质量低而导致的不孕症的治疗方法是用患者自己的精子或捐赠的精子进行授精。随后是20世纪80年代早期的体外受精(IVF)和90年代早期的胞浆内精子注射(ICSI)。ICSI只需要一个活精子[14］．

像许多其他情况一样，非自愿不育通常不是由一个因素引起的，也不能总是通过单一的治疗方案治愈。病人和医生都经常面临这样一个事实:他们找不到不生孩子的理由，而且对某个特定病例的治疗对有类似问题的人或夫妇没有帮助[15］．除了原因本身，其他因素，如女性的年龄或双方共同的问题，也可能影响治疗的选择。因此，非自愿不育的患者/夫妇使用互联网获取有关他们不孕不育的信息似乎是必然的[6］．

向医学专家论坛(如“希望有一个孩子”)提出的请求可以根据(1)主题或(2)发件人的期望进行分类(例如，收到当前治疗方案的摘要[第二意见]，获得关于某种疾病或生物过程的一般信息，或询问在哪里寻求适当的医疗帮助的建议)。第一个方面对医学专家来说非常重要，以便他们能够了解请求的内容，而公共卫生专家则对后者感兴趣，以便分析民众的信息需求。

我们进行了初步试验，使用标准文本挖掘软件(如SAS提供的软件)自动对这些请求进行分类。16，17］．然而，我们第一次试验的结果令人失望，因为分类的质量，以精度和召回率来表示，没有超过60% [18］．

为了充分利用复杂数据的文本挖掘，不同的策略和这些策略的组合可以改进自动分类。本文的目的是提出一种自动分类医学专家论坛请求的方法，并评估其性能质量。这种方法的一个特别重点应该是它的灵活性，允许精确和与内容相关的专家知识的输入。

方法

设置和数据

该分析是基于从德语“希望有个孩子”一节中收集的请求样本Rundums Baby网站[12］．在这个部分，参观者可以参加医学专家论坛，并就非自愿不育提出问题。请求和答案在网站上公开发布。这些对话的结构类似于克利夫兰诊所基金会的心脏论坛[19］．

该网站的访问者通过基于网络的界面直接向一组医学专家提问。目前，专家小组由八名妇科、泌尿科、男科和/或胚胎学专家组成。她们有的在门诊部工作，有的在生殖诊所工作，有的在大学医院工作。因此，专家论坛有能力在困难的情况下提供医疗建议，帮助做出正确的决定，提供第二种意见，或者在某些情况下，甚至满足医生无法满足的心理需求。这些专家以荣誉(无薪)的形式工作。

迄今为止，专家论坛收到了1.2万多份请求，并在网站上发布。从这些请求中，我们随机选择了988个样本，并手动对其进行分类，以提供良好的培训和评估基础。

手工分类

类似于Shuyler和Knight [20.]，他从几个维度(主题、目的、关系)分析了骨科网站的问题，我们决定将这些请求分为两个维度。第一个维度("主题")包括32个类别(例如，评估怀孕症状或关于人工授精的信息)。第二个维度(“期望”)包括六个不同的类别，描述了发送者的目标或目的(例如，情感安慰或关于治疗方案的建议)。

从分类过程的最开始，很明显，许多请求属于一个主题事项类别，但适合第二个维度(“期望”)的多个类别。例如，一位访客要求专家对精液分析的结果发表评论，同时，他或她想要一些建议，是否应该换医生。我们决定为每个请求提供尽可能多的类别。在第一个维度(“主题”)中，这种要求可以归类为“精液分析”，在第二个维度(“期望”)中，可以归类为“讨论结果”和“治疗方案”。

其中两位作者(HWM, WH)独立地手动对第一组100个请求进行分类。由于不同结果的比率很高，我们更精确地定义了类别，添加和删除了一些类别，并同意使用多个类别。然后我们对另外100个请求进行分类。这一次，只有12个案例出现了强烈的分类差异，比如每个作者将文本划分为不同的类别。还出现了一些小的差异，例如除了一个作者提出而另一个作者没有提出的附加类别之外，所有类别都一致。根据重叠类别的kappa统计，这导致了0.69的一致程度[21］．在进一步讨论和改进类别之后，最终达成了完全一致，然后HWM再次手工编码了前200个请求，然后是剩余的788个请求。用于分类的两个维度的最终类别显示在表2，在“结果”部分给出。

自动分类准备

为了自动分类，我们创建了一个数据集，其中包含来自每个请求的文本作为单独的观察。然后将文本解析为单独的单词或名词组。“解析”需要几种技术:(1)将文本分离为术语(如“子宫”)或多词术语(如“子宫milleu”)，(2)将日期的不同格式标准化(如26/02/2008;(3)同义词的识别，(4)动词、名词或(在德语中)形容词词根形式的词干(如“转移”、“转移”、“转移”)。SAS Text Miner等程序自动执行此操作，并提供文本中出现的所有单词、名词组等的完整列表。两位首先手工对请求进行分类的作者形成了一个详细的起始列表[16]以包括所有相关的实义词，甚至包括拼写错误的单词和缩写。由于我们关注的是这些词，所以问候语和虚词(如“hello”、“the”或“of”)不包括在内，因此对分类没有影响。下一步，我们对相似的术语进行聚类，创建4109组称为“父母”的术语(例如，请参见表1)．最终的数据集是一个大表，由998行(每个分析的文档对应一行)和4109列(每个父列对应一列)组成。研究人员分析了每个文档中的单词，以记录每个父母在文本中出现的频率。

文本挖掘的策略

为了减少由988行和4109列组成的最终数据集，我们使用了三种技术(作为不同的文本挖掘程序):(1)基于Cramer 's V的指标变量，(2)主成分分析(PCA)和(3)奇异值分解(SVD)。第一种策略是由作者提出的。第二种策略使用第一种策略中的指标变量作为PCA的输入。第三种策略使用了来自SVD统计软件的标准程序，SAS Text Miner (SAS, Carey, NJ, USA)。

克莱姆V

我们计算了4109个“父母”与每个类别的关联的平均克莱默V统计量，以及随后生成的指标变量，这些指标变量和每个类别的所有重要单词的克莱默V系数。克莱默V是一种基于卡方的衡量名义变量之间关联的方法，“1”表示完全正相关，“0”表示根本没有关联。这些系数是根据文本的长度(即字数)进行标准化的。包含父项克拉默氏V的选择标准是对应卡方检验的错误概率。显著性水平分别为1%、2%、5%、10%、20%、30%、40%，每类有7个指标变量。

主成分分析

我们通过主成分分析，将每一类不同显著性水平的7个指标变量简化为5个正交维度。PCA将一些相关变量转化为几个不相关变量[17］．每个主成分都是原始变量的线性组合，其系数等于相关的特征向量。PCA可以通过保留对数据集方差贡献最大的特征来用于数据集的降维。数据被转换到一个新的坐标系统，使得数据的任何投影的最大方差位于第一个坐标(称为主成分)，第二大方差位于第二个坐标，依此类推[22］．

奇异值分解

500维SVD是基于SAS文本挖掘软件的标准设置[23］．如前所述，为了理解SVD，所有请求的整个文本可以被可视化为一个由术语矩阵组成的文档。通过列出给定文本中每个术语的出现频率，每个请求的文本(行)被分为其父术语(列)。文档表示为长度为m的向量，其中m是文本中索引的唯一术语的数量。原始文档按术语矩阵被转换或分解为更小的矩阵，从而创建因子空间。SVD投影是术语×文档频率矩阵中一行或一列奇异值的线性组合。大量的SVD维度通常以更好的方式总结数据，但需要大量的计算资源[24，25］．

统计分析

样本被分成75%的训练数据和25%的测试数据。基于我们的预测变量(即每个类别38×7 Cramer 's V指标，每个类别38×5主成分，以及大约500个svd)，我们训练逻辑回归模型来预测类别。然而，如果将所有这些预测变量都用于回归模型，则不太可能检测到任何显著变量，因为其中许多变量是高度相关的。因此，我们选择了一个更合适的建模方法，逐步逻辑回归。预测变量的选择是通过自动程序进行的。

为了评估最合适的分类模型，我们使用了以下选择方法:(1)赤池信息标准，(2)施瓦茨贝叶斯标准，(3)训练数据的交叉验证错误分类(去掉一个)，(4)训练数据的交叉验证错误(去掉一个)，以及(5)基于对阳性案例数量单独调整的变量显著性水平的变量显著性。有关这些选择标准的更详细描述，请参阅Beal [26］．

我们为每个目标类别、每个选择标准和每种类型的输入变量(Cramer 's v，主成分，SVDs)训练一个逻辑回归。这导致了1369个逻辑回归模型。多媒体附录中的详细说明和表格使这个过程更加透明。对于最后的回归，我们使用元模型，该模型对38个类别中的每个类别都证明是最好的。

完整的训练过程产生了一个自动的方法来评估来自训练样本的请求和新请求。相应的软件程序称为得分代码。这个得分代码是一个函数，它为任何文本(请求)生成属于38个不同类别中的每个类别的概率。

为了评估我们方法的准确性，我们计算了召回率和精度作为信息检索和文本挖掘的标准统计数据。精度是正面预测正确的百分比(即一种特异性)，而召回率是给定类别的文档被检索到的百分比(灵敏度)。我们计算了最大f测量值[27］．为了确定我们的方法是否在主题维度或期望维度上产生了更好的精度和召回率结果，我们比较了两个维度之间的精度和召回率的宏观平均值[28］．所有统计分析均采用SAS 9.1 (SAS, Carey, NJ, USA)。

结果

手工分类

表2显示我们对988个文档进行手工分类的结果。共有102份(10%)文件属于“体外受精(IVF)”类别，81份(8%)文件属于“排卵”类别，79份(8%)文件属于“周期”，57份(6%)文件属于“精液分析”。这是主题维度中最常见的四个类别(由32个类别组成)。期望维度包括六个维度;我们将533份(54%)文件归类为“一般信息”，351份(36%)文件归类为“治疗建议”。

自动分类

我们使用不同的选择标准来寻找用于训练和验证的最佳回归模型。在大约一半的类别中，基于卡方分析的指标变量生成被证明是自动分类的最佳方法。其他类别的最佳预测方法是PCA或SVD。统计细节显示在多媒体附录。在验证样本的38个类别中，有18个类别实现了100%的精密度和100%的召回率表2)．准确率和召回率最低的分别为75%和61%。平均而言，期望维度的准确率和回忆率(分别为78.2%和74.8%)略低于主题维度(分别为93.6%和96.4%)。

表3而且表4举例说明卡方分析的威力和局限性。表3列出“一般信息”类别中最重要的单词。有趣的是，“一般信息”这一类别的前50个单词几乎都是负相关的。这意味着，例如，单词“注入”是一个强烈的指示符，说明包含这个单词的文档不属于这个代码。第51个单词(“肥沃的”)是第一个带有阳性克拉默氏V的单词;它代表了一个关于月经周期中可受孕天数的典型问题。对于几乎所有其他类别，最具预测性的词汇都与相应类别呈正相关。

表4列出“输卵管”和“输卵管检查”类别中最重要的单词。这些类别被单独列出，因为“输卵管”主要与一般生殖医学的外行请求有关，而“输卵管检查”则与有关具体治疗或治疗方案的问题一起使用。一些预测性词汇(如“管”、“输卵管”、“水平”)在这两类词语中是相同的。例如，单词“tube”出现在我们手工分类为“oviduct”的所有请求中(n = 16)，显示出很强的预测价值(Cramer的V为0.44)。然而，这个词也出现在79%的被归类为“检查输卵管”的请求中(n = 19)。Cramer的V值也很高(0.37)，这也表明这个词对“检查输卵管”有很强的预测价值。在这种情况下，只有Cramer 's V统计量的总结作为一个指标变量才能保证较高的精度和召回率，而不是单独的一个单词。

对于某些类别，输入变量还包括其他类别的变量，通常带有负号。例如，“怀孕测试”的元模型包括一个带有负号的“月经”类别预测的单词样本(作为指示变量)。这意味着缺乏预测“月经”的词语是“怀孕测试”类别的一个强有力的指标。

对于其他类别，考虑发送方的期望也有助于对请求进行更好的分类。例如，“激素”的元模型包括相关术语的总和(基于克莱默V)，以及表明期望更多地了解自己的情况或解释实验室数据的重要术语(两者都带有消极迹象，意味着除了其他指标外，缺乏这些期望也是“激素”的指标)。

自动分类和人工分类的比较示例

为了更生动地描述我们的方法的结果，我们展示了一些访问者的要求，包括我们自己的手动分类和自动分类(为落入特定类别的概率设置评分值)表5)．第一个例子是一个非常短的请求，发送者想知道一个短周期是否会由特定的激素引起。自动分类没有找到请求的中心主题，可能是因为术语“催乳素水平”(prolactinspiegel)没有被识别为“激素”。概率最高的主题类别是“周期”，只有2%的概率，这意味着没有自动分配分类。在另外两个例子中，我们所有的手动代码都被自动分类识别了。这也是大多数其他请求的情况，代表了我们的方法的高度敏感性。

在一些情况下，也在两个例子中提出的表5，自动分类有时不仅对正确的学科类别给出高分(由作者决定)，而且对其他学科类别也给出高分。在第二个例子中，“刺激”得分很高(除了正确的“试管婴儿”)，而在第三个例子中，“克罗米芬”和“刺激”类别得分很高(与正确的“多重”类别一起)。因此，作为特异性衡量标准的精确性并不总是完全令人满意。其中一些额外的分类，如第二个和第三个例子中的“刺激”，是由请求中的“刺激”一词或其他误导性词语引起的。虽然自动分类中的附加类别并不完全正确，但它们也不完全错误。在这三个例子中，我们根据发送者的期望进行的分类被具有不同概率的自动分类所证实。只有在最后一个例子中，自动分类也选择了“治疗方案”，事实上这并不是完全错误的。

讨论

不同文本挖掘策略的组合可以将医学专家论坛的请求分为38个类别中的一个或多个类别，代表主题或发送者的期望。这种联合策略在几乎所有类别中都产生了80%以上的准确率和召回率。即使在最糟糕的分类中，这一比例也至少在60%以上。

研究意义

为了评估这些结果，应该考虑这种文本挖掘过程的特殊特性。要分类的文件很复杂，有时相当长，最重要的是，不仅需要根据内容分类，还需要根据他们(有时是潜意识的)期望分类。我们能够证明，不同文本挖掘过程的组合优于单一方法。有两个因素特别有助于这一成功:(1)详细的起始列表和(2)卡方统计、主成分分析和SVD方法的结合。这些因素反映了Balbi和Meglio报告的建议和经验[29)，他们根据数据的“性质”建立了特定的文本挖掘策略。

创建良好的开始(或停止)列表对于获得有效和有用的结果是必要的，全面的领域知识对于首先创建合理的列表是必不可少的。这里描述的清单包含了非自愿无子女领域宝贵的专家知识。在其他医学领域创建同义词列表也可以成为在其他互联网论坛中成功挖掘文本的强大工具，这似乎是合理的假设。在他们关于预测数据挖掘的大量论文中，Bellazzi和Zupan [30.]强调了领域专家可以用于建模方法的额外知识的重要性。当用于生成指示器变量时，这个起始列表展示了它的全部潜力，这些变量为每个请求和每个类别的重要单词汇总了所有Cramer的V值。通过这种方式，我们避免了高估单个单词的预测能力的危险，特别是当单词被否定时(例如，“我对试管婴儿不感兴趣”或“我的周期不正常”)。

几乎所有预测“一般信息”类别的词汇在卡方统计中都呈负相关。这似乎是我们内容相关方法的“完美”发现和证据，因为例如，任何注射治疗都属于“治疗方案”、“解释”或“当前治疗”类别，而不是“一般信息”类别。正是缺乏技术术语或先前调查的结果来定义这一类别。

专家通常以二分法对请求进行分类，例如我们分析的那些请求(即，它们属于或不属于各自的类别)。与此相反，使用类似于本文中提出的评分系统的自动分类给出了任何给定请求落入任何类别的概率。特别是在复杂文本的情况下，将其划分为多个维度和多个类别似乎是合适的。我们为评分系统定义了50%的临界值(也就是说，我们定义了一个请求，如果各自的分数超过50%，就归入一个类别)。同时，可以根据分析的目的来改变截止点。例如，如果我们对识别可能的健康需求感兴趣，50%的截断值可能有助于提高召回率(敏感性)，这样我们就不会错过相关请求。如果我们对分类要求的高精度(即分类的专一性)感兴趣，从而支持专家的工作，那么更高的分界点可能是合理的。我们的分析程序允许简单地分配不同的截止值。

还有另一个原因，为什么这种评分程序似乎足够，甚至优于二分法的专家分类。当我们分析发送者的期望时，我们通常会遇到不同期望的混合。在许多情况下，我们将请求划分为几个期望维度。从直观上看，这似乎更好地用本文所介绍的评分程序来表示。甚至我们在手动程序中使用的分离(间断)类别的主题分类也可能不像在许多请求中看起来那么清楚。一个给定的请求也很可能涉及多个主题，如中的示例所示表5，因此在这些情况下，一个允许重叠类别的评分程序似乎是最合适的[6，20.］．相比之下，大多数研究，即使他们使用了一个多维分类方案，如Shuyler和Knight [20.]，每个维度只允许一个类别。

由于SVD是一种强大的自动分类方法，在大约四分之一的实例中，这种方法被证明是预测类别的最佳方法，这似乎是很合乎逻辑的。然而，有时不愿意使用基于svd的分类策略，因为这一过程只能在有限的程度上控制[31］．换句话说，基于SVD的文本挖掘是一个无法被有意识地监控的过程。作为一种黑盒，它自动在后台运行，我们必须依赖于这个过程的有效性。相反，根据Reincke [31]，数据挖掘过程应该映射到一个连续的IT流，该流控制来自原始数据、清理聚合和转换、分析建模、操作评分以及最后但并非最不重要的最终部署的整个信息。从这个意义上说，我们的分析实际上要透明得多，正如中给出的预测词的情况所证明的那样表3．也就是说，我们的分析不仅产生了良好的精度和召回率，而且还为我们提供了分析过程的完整视图，从而有助于人脸有效性。

在过去的十年里，医学界见证了新的发展，病人往往通过采用增强自身能力的策略，成为自己的专家[32]，并经常得到互联网的支持[33，34]以电子邮件谘询服务进行病人与照顾者的电子沟通[35］．能够利用所有这些潜在信息的一个关键因素是时间。互联网是一个快速的媒介，当问题几天得不到回答时，用户会感到失望，甚至可能重新发送他们的查询，正如Marco et al [3.他们对艾滋病和肝炎的网上调查很有经验。本文提出的复杂技术解决方案可以有效地帮助医学专家提前处理请求的信息需求，并加快响应时间。一旦了解了信息需求，就有可能找到以前类似的请求，使专家能够有效地利用他们以前的答案。因此，这项技术既可以使专家迅速回答请求，又可以减轻他们的工作量。

作为我们方法的另一个优点，我们要强调我们全面的类别清单。迄今为止，对电子邮件请求的分析[5，6他们试图将这些请求或多或少地简单分类，特别是为了更多地了解信息需求和专家可能的工作量。相比之下，我们在信息需求的分类上要具体得多，有32个类别代表主题维度。这种详细的分类正是专家们需要的，如果基于机器的分析是支持他们的工作。

本研究的局限性

可以改进根据发送者的期望对请求进行分类的办法。这一过程不是最佳的，可能是由于对特定患者期望的定义有些模糊，如果卫生专家要对人群的健康需求做出结论，这就需要改进。然而，主题分类的整体性能似乎已经足够，以至于在这个医学领域，半自动回答发件人的请求可能是未来一个现实的选择。

未来的考虑

我们认为在不久的将来，我们的文本挖掘过程将有三个相关的应用:

1. 如果我们的评分程序在进一步的测试中被证明是成功的，它可以被集成到Rundums Baby网站，方便专家使用半自动答案建议，在分类精度较高的情况下，直接自动回答患者[36］．对文本进行多维分类，就像我们的方法一样，可能特别适合于这个目的，因为我们不仅可以识别简单的内容(即主题)，还可以识别发送者的期望，就像隐藏的潜台词一样。
2. 对所有累积的请求进行评分程序的回顾性应用将允许将它们映射到不同的类别，从而提供一个客观的历史地震仪，并允许更好地理解当前医疗保健系统尚未满足的医疗和心理需求。
3. 评分数据库构成了一个复杂的常见问题解答网页的基础，该网页不像通常情况下那样解决专家认为最重要的问题和问题，而是更面向访问者和患者的真正需求。

我们不知道有任何研究试图分析互联网论坛上类似复杂的文本。因此，需要进一步的研究来比较和完善我们的方法。然后，还可以确定文本挖掘策略的哪些方面(基于专家的同义词列表或不同策略的组合)对自动分类的成功最重要。

结论

我们的分析提出了一种分类和分析复杂文档的方法，为政治家、管理员、研究人员和/或顾问提供重要而有效的信息源。在非自愿不育的情况下，通过这个互联网专家论坛，不仅可以满足患者的信息和健康需求，还可以对这些需求进行长期分析和跟踪。这些技术对于分析来自其他互联网健康论坛、聊天室或向医生发送的电子邮件请求的大量文档样本似乎也很有前途。