2010年，我们将数据处理技术应用于NHS Choices网站上所有关于医院的在线自由文本评论。我们的目的是测试我们是否能从患者的自由文本回答中自动预测他们对一些话题的观点。选择了一种机器学习分类方法，该方法使用开源的Weka数据挖掘软件，通过算法“学习”将评论从给定的一组示例中分类。该软件在以前的研究中被广泛使用，并提供了准确的分类结果，包括在卫生保健领域[ 13- 15］．为了测试预测的准确性，我们将我们的结果与相同个体患者在李克特量表上提供的定量评级进行了比较。针对“我喜欢什么”、“可以改进的地方是什么”和“还有其他意见吗?”然后预测病人是否会推荐这家医院，医院是否干净或肮脏，以及他们是否受到有尊严和尊重的对待。该算法使用2008年、2009年和2011年在NHS Choices网站上留下的关于医院的所有评论和评级(共13802条)作为学习集进行训练。2010年的数据被用来测试该过程的预测准确性(6412条评论)，因为该年有可比的患者经验调查数据可用。验证集占总样本的31.7%。我们进行了一轮交叉验证。在NHS Choices网站上留下的所有评论都是由英格兰卫生部直接提供的，但随后已向公众开放[ 16］．

机器学习方法有两个组成部分:(1)预处理，将来自患者评论的数据分割为可管理的单元，以构建数据的表示形式[ 17和(2)分类，算法决定每个评论属于哪一类。我们在机器学习过程中应用了一套一致的方法，包括“单词袋”方法、“先验极性”和“信息增益”。

在“单词袋”方法中，所分析的单词的整体(称为语料库)被表示为一个简化的、无序的单词集合[ 18］．在此分析中，使用了字母(单个元素或单词)和字母(标记字符串中的两个相邻元素，在本例中是两个单词短语)作为基本分析单元。我们总共提取了5695 n克。本可以使用更高的n克(较长的短语)，但受计算机能力和处理时间的限制。我们还在机器学习方法中加入了我们自己对某些单词的分类，称为“优先极性”。1000个最常见的单个单词和1000个最常见的两个单词短语是从语料库的完整评论集中提取出来的。两名研究人员分别对每个人的情绪进行了积极、消极、或中立的评价，并分别考虑了以下三个方面:(1)总体推荐，(2)清洁，(3)尊严。当出现分歧时，两位研究人员会讨论并解决意见。Kappa对1个词的整体评分为0.76，对2个词的评分为0.71。在尊严评分方面，他们对1个词的评分为0.71，对2个词的评分为0.70。 For rating of cleanliness, they were .52 for 1 word and .48 for 2 words. For all of these calculations, P<措施。

一种叫做“信息增益”的技术被用来减少单词包的大小，方法是识别出那些属于特定类的确定性最低的单词，然后将它们删除——这是一种特征选择的方法[ 19］．这提高了计算时间，也展示了具有最高预测精度的单词。

在机器学习中，可以采用许多不同的技术方法进行分类。我们应用了四种不同的方法，看看哪一种方法能给出最快、最准确的结果:(1)naïve贝叶斯多项式(NBM) [ 20.，(2)决策树[ 21，(3)套袋[ 22]，(4)支持向量机[ 23］．使用Weka包中的REPTree进行决策树和装袋。支持向量机使用RBF核。通过计算每种方法的准确性(从观察总数中正确预测观察的百分比)，将预测的准确性与患者自己的定量评分进行比较 F测量(精度和召回率的调和平均值)、受试者工作特征(ROC)和完成任务所需的时间进行计算。为了减少分类的计算处理时间，我们将学习过程中的单词按频率限制在前10000个单词。所有文本都转换为小写，并删除了所有标点符号。排版错误和拼写错误没有得到纠正。

为了获得预测情绪分析的分数，在NHS Choices网站上留下的患者李克特量表评分被转换为简单的类别，在清洁和尊严方面分为正面或负面，以简化预测任务。该网站为患者提供了五个选项来评价医院的洁净度:“特别干净”、“非常干净”、“干净”、“不太干净”、“脏”和“不适合”。在这个分析中，前三个选项被归为“干净”类，“不太干净”和“脏”归为“脏”类。该网站还要求患者评价他们是否得到了医院工作人员的尊严和尊重，选项有“一直”、“大部分时间”、“一些时间”、“很少”和“根本没有”。再一次，前三个选项被分组，在这种情况下，被归为“更有尊严”的类别，而“很少”和“根本不”被归为“不那么有尊严”的类别。最后，NHS Choices网站询问所有患者是否会推荐这家医院。

在计算了预测算法的准确性后，将情绪分析结果与2010年全国住院患者调查结果进行比较。这是一项年度全国调查，调查对象是随机挑选的在英国国民健康服务体系(NHS)医院住院的患者，类似于美国的HCAHPS调查。2010年的调查覆盖了英格兰所有161家提供成人服务的急性病医院，涉及全国6万名受访者(回复率50%)。在2010年9月至2011年1月期间，如果患者在2010年曾在医院接受过夜护理，则通过邮件与他们取得联系[ 24］．这项调查包括一般问题和具体问题。在这项研究中，我们只使用了与NHS选择数据预测的特定主题相似的领域。使用的问题是“在你看来，你所在的病房或病房有多干净?”(按“非常”到“完全没有”的4分制);“总的来说，你在医院里是否觉得自己受到了尊重和尊严?”(按“非常”到“完全没有”的3分制);以及“总体而言，您如何评价您所得到的护理?”(满分5分，从优秀到差)。在医院层面，情绪分析排名与患者调查排名进行比较，应用Spearman排名相关性，使用Stata SE11统计软件。我们比较了英国所有161个成人急性信托基金。

我们的结果加强了早期的发现，即对患者在线评论的情绪分析是可能的，具有一定的准确性[ 10]，并有可能找出检讨的突出方面[ 25］．我们还表明，如果处理得当，自由文本中的非结构化评论与英国所有医院每年进行的纸质调查的患者体验结果相关。这与先前的工作一致，该工作表明，在卫生保健评论网站上遗留的结构化在线护理评级与传统满意度调查之间存在显著关联[ 12］．这些结果表明，有一种潜在的机制可以利用互联网上人们描述自己护理的大量文本，进一步探索自由文本评论中包含的信息可能是理解患者经历的重要途径，为补充传统调查方法提供额外的信息来源。

通过机器学习方法进行的情感分析只能与用来通知它的学习集一样好。通过几年来利用一个完整的国家评级系统，我们已经能够在这个学习集中使用比其他研究更多的评级。事实上，我们的学习集是早期工作的10倍多。 9］．此外，在情感分析应用于医疗保健数据时，研究人员必须通过审查评论并赋予评论特征来训练系统本身，以便让算法进行学习。我们使用了一个大型数据集，允许我们直接比较自由文本评论和同一患者发布的定量评级，从而消除了评审员分配评论的潜在偏差。同样，在NHS住院病人调查和在NHS选择网站上询问的关于健康服务的问题的一致性允许对病人的意见和我们认为以前没有报道的调查进行直接比较。

网站上未经征求的在线评论很可能对好的和坏的护理都有自然选择的偏见。这些在线评论很可能更多地是由一些特定的人口群体贡献的，包括更年轻和更富裕的人。 26］．此外，情绪分析很难处理患者评论的某些方面。说英语的人在谈论他们的关怀时经常采用的反讽、讽刺和幽默，用这种方法不容易发现。使用先验极性改善了结果，减轻了一些口语化措辞，但理解那些依赖上下文的短语有困难。例如，重复出现的短语，如“臭尿味”或“像天使一样”，很容易被定性为消极或积极的。然而，如果不了解上下文，就很难确定其他常用短语的意思。最好的例子就是“一杯茶”这个短语。在这些数据中，许多不同的评论都提到了它，但在不了解上下文的情况下，不可能把它分配到一个直接的情感。“‘他们甚至没有给我倒杯茶’和‘护士甚至给我倒了杯茶’是非常不同的。我们目前的算法还不能利用茶杯或类似短语的参考信息，而这些参考信息在具体情况下可以用肉眼清楚地看出来。 Future attempts to improve a natural language processing ability for patient experience would have to develop the capacity to accurately interpret this level of context-specific and idiomatic content. We appreciate that in this early exploratory work, we are not using the most state-of-the-art machine learning algorithms seen in other industries [ 27]，或分类选择的方法[ 28]，但希望进一步的工作能够采用这一方法。

需要进一步的研究来提高情绪分析工具的性能，将这一过程扩展到互联网上其他形式的自由文本信息，并探索患者在线表达的观点与临床医疗质量之间的关系。例如，可以添加一些技术组件来改进这个过程，包括考虑更多的n-g(较长的短语)和细化上下文极性(理解一个单词或短语在句子中的上下文意味着什么)。将此分析中使用的相对简单的技术与用于情感分析和意见挖掘过程的其他平台和工具进行比较也会很有用，例如WordNet Affect [ 29]及SentiWordNet [ 30.， 31］．

大量关于服务使用的数据以数字形式收集。其中一个重要的方面是消费者的意见和体验。今天，许多人通过互联网和社交媒体表达他们的观点，分享他们对商品和服务的体验。这些数据转化为信息，对于改善服务、促进消费者选择和在某些部门探索公共问责制和纳税人资金使用的价值至关重要。

从本质上讲，信息是高度个性化的、特殊的和习惯的。然而，如果它是有用的，它必须以不完全依赖于读取单个贡献的人(尽管这对消费者是有价值的)或允许聚合所必需的预先结构化响应的方式进行分析。“大数据”挑战的一个解决方案是找到分析非结构化叙事评论的自动化方法，这是一个潜在的丰富的学习来源。在这方面，医疗保健与许多其他行业没有什么不同，尽管它可能比其他行业更慢地认识到它的重要性。

随着我们对数据挖掘和情绪分析技术的信心增长，这类信息可以被医疗保健提供者和监管机构定期收集、处理和解释，以监控业绩。此外，信息可以从许多不同的在线文本来源，如博客和社交媒体。如果可以从这些地点收集这些信息，然后处理成及时和相关的数据，这将是提高质量的宝贵工具。我们之前曾提出，随着评级网站、社交网络和微博使用量的增加[ 3.， 4]，这种免费文本信息代表了一个日益增长的、基本上尚未开发的数据来源，可以被视为“患者经验云”[ 32］．包括Alemi在内的其他人也讨论了类似的想法，Cambria和同事描述了医疗服务的“人群验证”概念[ 10， 33］．这有可能以比传统调查方式更低的成本提供有关患者体验的最新信息。它还可以让更年轻、更懂技术的群体——他们通常对纸质调查反应不佳——的观点得到抽样。最终，如果能够收集到足够多的数据，并可靠地再现预测精度，甚至有可能开发出一种接近实时的临床护理不良早期预警系统。然而，在过分相信定量方法之前，应谨慎行事，因为这类信息的定性分析众所周知可提供有用的见解[ 34］．定性和定量方法应被视为相辅相成的。

这项研究表明，对患者对其医疗体验的评论进行情感分析是可能的，而且这种新方法与通过调查等传统方法测量的患者体验相关。这项工作为越来越多的文献提供了一个新的理解，即从患者在社交网络、博客和评级网站上发布的在线信息中了解他们的护理观点。虽然还处于早期和实验阶段，但它为接近实时地了解医疗保健系统性能提供了未来的可能性。贝茨及其同事将以患者为中心的护理和社交媒体的融合描述为一场“完美风暴”，这可能对公众和卫生保健组织具有重大价值[ 35］．这些早期的发现暗示了这可能是如何发生的。