分类与活体肾脏捐赠相关的社交媒体评论:机器学习训练和验证研究

简介

肾移植是终末期肾病(ESRD)患者的金标准治疗方法[1]而且比透析更合算[2］．近年来，器官移植数量屡创新高，但尽管近年来器官移植数量有所增加，但供体短缺的问题依然存在。3.］．目前，在美国，移植的平均等待时间约为4年，每年有近5000名患者死于移植等待名单[4］．活体供体肾移植通常比死亡供体肾移植效果更好，但许多ESRD患者无法获得，特别是在某些种族和少数民族中[5，6，因为这可能会给捐助者带来负担。这些负担包括与捐献有关的财务费用以及未来肾衰竭和死亡的风险[7，8］．在过去的20年里，美国政府实施了一些项目，补偿活体捐赠者与捐赠相关的支出，比如差旅费、康复和可能的并发症的医疗费用，以及离开工作场所的时间。然而，到目前为止，这些项目对活体肾脏捐赠者的数量几乎没有影响[9］．

一些研究使用定性方法来确定肾脏捐献的可能障碍。这些研究已经确定了几个因素，包括卫生保健专业人员(HCPs)的社会影响，可以对活人和死者捐献的决策作出贡献[10]、家庭成员[11]、受助人及潜在捐款人[12，13]，以及医疗[14]及财务[15，16)障碍。其他因素则与信念和概念有关，例如未知的未来需求[17(例如，“如果我的家庭成员有一天需要捐赠怎么办?”)，对身体完整和选择的渴望，对医疗保健系统的信任或不信任，宗教和文化信仰，以及缺乏关于捐赠的信息[10］．然而，这些研究中的许多都集中在确定与死者捐献有关的因素上。

此外，这些数据通常来自已经参与捐赠过程的受访者的小样本，或来自单个移植中心的数据分析。因此，所提取的数据主要只代表那些有直接活体捐献经验的人。公众的观点可能会对捐赠感到好奇或有误解，但没有捐赠的直接经验，因此很少被代表。通过利用网上大量的意见和评论，这项研究向更好地了解公众对活体捐赠的看法迈出了一步。至少还有一项研究利用社交媒体上的评论来调查人们对器官捐献的态度。蒋等[18]发现并分析了中国微博网站上141条与器官捐赠相关的独特帖子的1507次转发;他们能够确定5个主要主题。作者报告说，关于器官捐赠的“统计描述”和“意义”的帖子分别促使3和2名用户表达了成为器官捐赠者的意愿。亨德森(19]进行了类似的分析。

这项研究的具体贡献是探索了一种机器学习分类器，用于收集和分析由互联网用户撰写并从多个公共来源收集的标记评论的大型数据库。这些评论反映了用户对活体肾捐献(LKD)的想法、感受和关注。作者根据要求提供了该数据库，以便这一主题的研究人员可以使用这些信息进行进一步分析。目前的研究还检查和讨论了预测的质量，突出了与机器分类有关的特定困难领域，以便进一步改进。

方法

首先收集和处理评论(数据处理阶段)。然后手动分类(注释和标记)一小部分作为训练数据(注释阶段)。然后，训练数据被用于开发一个机器学习模型，该模型可以自动化大量数据的分类过程(建模阶段)。

数据处理概述

我们通过收集、过滤和清理数据的过程来创建数据集[20.］．数据来自不同来源，包括对《纽约时报》(NYT)上发表的报纸文章的评论，以及社交媒体网站Twitter、YouTube和Reddit上的评论。我们手动注释了一小部分数据(203219条评论中的1174条)，并设计了一个神经网络来对剩余的评论进行分类。我们用2个标签将数据集分开:与LKD相关或不相关。训练和测试数据的特征显示在表1．

图1而且2分别说明单词在训练数据和测试数据中的频率和分布。训练和测试数据是在收集所有评论之前编译的，因此使用迁移学习对Reddit和YouTube评论进行最终分类[21］．通过手动检查预测，迁移学习模型在Reddit和YouTube评论上工作得足够好。

‎ 查看此图

‎ 查看此图

数据收集

为了从网上自动下载评论，我们使用了Pushshift。为Reddit提供了io服务，为YouTube提供了Selenium，以及为Twitter和NYT提供了应用程序编程接口(api)。对于每个网络资源，我们使用搜索词来捕捉与LKD相关的内容，同时也排除了不受欢迎的内容(例如政治筹款，否则会出现在“捐赠”等搜索词中)。有关此排除过程的更多详细信息，请参见多媒体附件1．推文是通过实时流捕获的，但其他3个来源的评论是在各自api允许的任何日期范围内捕获的。由于YouTube上没有适合我们目的的API，我们手动搜索了YouTube上的“活体肾脏捐赠”一词，并确定了17个相关视频，每个视频至少有30条评论。表2显示从每个来源收集了多少评论，以及在什么时间段内收集了多少评论。

类标签定义

训练数据的手工标注是本研究中最重要的任务之一。这种分类标记的目的是确定给定的评论是否与活体器官捐赠有关。注释团队研究了随机选择的1174条评论，并确定了每个评论应该如何分类。在这个阶段，我们假设来自每个来源的每个评论都有同等的权重。这个过程始于3个注释者合作对403条注释进行分类，目的是就注释应该如何分类达成一致。其余的771条评论在更彻底地建立决策标准后进行了分类(最终标准将在下一节中描述)。

处理模糊性和其他复杂性

注释始于一个简单的想法:捕获提到LKD的注释。但人类语言的复杂现实很少简单到可以简单分类，细微差别比比皆是。例如，我们能否假设一个人对死者捐赠的看法会延续到他们对活体捐赠的看法?当人们对一项与LKD有关的政策表达自己的想法时，即使他们没有说他们个人是否会捐款，我们应该如何分类评论?为了克服这个障碍，每个注释者都被赋予了一组分类标准，以确定注释是否应该被归类为“相关”。

即使有了明确定义的分类标准，注释团队在就许多注释达成共识方面仍然遇到了重大困难。在第一阶段标注中，待标注的403条评论中，有124条未被一致归类。在讨论不同意见时，团队提出了一些指导原则。首先，虽然明确提及器官销售和关于非法器官交易的评论被排除在外，但标准被扩大到允许大多数涉及器官捐赠成本或财务相关政策的其他评论。

第二个原则是改变最初的立场，即鼓励注释者在不确定和模糊的情况下选择“是”，而只在他们有信心这样做时选择“是”。最后一个标准是澄清每个注释必须被视为独立于所有其他数据，并且人类注释人员不应该考虑更大的上下文(即讨论中的其他注释)或做出推断。最后一个调整代表了人类学习方式与机器学习方式的重要区别。值得注意的是，这些标准迫使我们排除了最终可能有意义的数据，以便为整个模型获得更好的性能。说明决策准则过程的流程图载于图3．我们注意到，被确定为“不相关”的注释在注释过程中没有被排除标准量化，因此无法获得数字。

‎ 查看此图

建模

我们开发了一个深度神经网络来对剩余的评论进行自动分类(多媒体附件2)在Python中使用PyTorch 1.11(版本3.8;Python软件基金会)。网络结构如图所示图4，超参数用阴影框表示。表3显示这些参数的可能值，每个参数都经过评估以确定最佳模型。

‎ 查看此图

文本预处理

在分析文本之前，对文档进行了清理和规范化。这种文本处理的目的是将有意义的单词从噪音中分离出来。这包括删除奇怪的字符(例如，¬和±)、HTML标签、url、不必要的重复字符(“pleeeease”到“please”)、数字字符组合(“401k”)、调整缩略语(“I’ve”到“I have”)和表情符号。单词也被词根化，因此词根相同但后缀不同的单词(如“donate”、“donate”和“donate”)将被视为同一个单词(变成“donat”)。

在此阶段还执行了标记化。标记化是将句子分成更小的部分的过程，比如单词和字符。单词级标记化是由单词之间的空间决定的分割，而字符级标记化是根据字符长度将单词划分为不同部分的过程。例如，我们从单词“Medicare”创建了8个额外的标记，如中所示图5．

由于神经网络不能处理文本，我们需要一个层来将词汇层转换为数字，这个过程称为嵌入。这种转换有几种技术，例如谷歌的Word2Vec [22]和斯坦福大学的手套[23］．我们尝试了这些工具，但是文本主题的特定领域导致性能很差。为了解决这个问题，我们增加词汇量(如图5)转到Pytorch嵌入工具[24]，允许用户训练自己的嵌入层。

我们用两层定义了我们的神经网络架构:隐藏层(转换发生的地方)和输出层(决定最终分类)。隐层由循环神经网络节点组成，这些节点由长短期记忆细胞[25］．我们为输出层生成了一个概率，如果输出层为一个给定的评论生成了一个大于0小于0.5的数字，那么它就被归类为不相关;如果在0.5到1之间，则被归类为相关。我们使用CrossEntropy [26]定义训练过程的损失函数[27]并使用Adam优化器[28来优化神经网络。

‎ 查看此图

培训及评估阶段

我们使用嵌套的K-fold验证过程来保证必要的模型通用性[29-31］．在第一次迭代中，我们随机分离20%的数据来构建验证数据集。其余的数据(80%)被分成10个单独的折叠，迭代地用作训练和测试数据。图6展示了实验的结构。我们选择K=10，这样我们就有10个模型来检查我们的测试数据集。使用K-fold交叉验证的目的是通过在小而独立的块上训练模型来测试模型在未见数据上的表现。K-fold验证在比较单词标记化和字符标记化的效果时也被认为是有用的。

‎ 查看此图

用于评价分类模型性能的指标为精密度(P)、召回率(R)和F1评分。公式1、2和3解释了这些指标的计算，其中相关评论被视为积极的，不相关评论被视为消极的。使用以下符号:真阳性(TP)，真阴性(TN)，假阳性(FP)，假阴性(FN)。

精度度量度量了在所有已被模型分类为相关的评论中，有多少相关评论被正确分类。另一方面，召回率指标表示在标注过程中标记为相关的所有注释中，有多少注释被正确分类。为了选择一个获胜的模型，precision和recall的值都应该接近1。F1分数是准确度和召回率的调和平均值;这个度量提供了一种模型泛化的感觉。准确度(公式4)是所有分类中正确分类的数量。

机器分类注释的评估

在为模型识别出满意的超参数后，利用该模型对完整的数据集进行自动分类。为了验证自动化结果的质量，对每个预测结果(即“相关的”和“不相关的”)随机分类912条评论(纽约时报的219条，Reddit的222条，Twitter的187条，YouTube的284条)进行阅读，并给出一个指标，以根据“处理歧义和其他复杂性”一节中描述的分类标准确定分类是否正确。假阳性(即，错误地预测相关的评论)被进一步标记，以识别分类器使用中描述的类别所犯的错误表4．

伦理批准

路易斯维尔大学机构审查委员会为本研究提供了批准豁免(22.0458)。

结果

在本节中，我们将展示分析的定量结果。使用以下模型超参数实现了84%的测试准确性:10个字符的标记化，700个嵌入层，8个批量大小，50个隐藏层，学习率为0.00001。此外，在测试数据中，精密度、召回率和F1得分均达到84%。一旦训练神经网络达到上述结果，它就被用来自动分类剩下的评论。这产生了11027条相关评论和192192条不相关评论。预测值的进一步评估结果，如“机器分类评论的评估”一节所述，显示在表5而且6，按评论源排序。有关进一步评估的其他详细资料见多媒体．

表7显示了假阳性错误在社交媒体来源的分布。我们注意到，YouTube上许多无关紧要的评论都可以归因于一个流行视频，该视频是对一位名人的采访，这位名人的朋友向她捐赠了一个肾。

图7分别显示了根据来自纽约时报、Reddit、Twitter和YouTube的评论做出的预测的混淆矩阵，其次是来自所有来源的评论的混淆矩阵(合计)。我们观察到，对于每个来源——以及总体上——模型的假阳性数量大于假阴性数量，说明了一种过度预测评论相关的趋势。

我们发现，在相关类别的336条评论中，有107条(32.3%)是关于人际关系的主题(表S7)多媒体)，这是可以预料的，因为这些是目前最常见的活体捐献类型。我们还观察到576条(50.1%)假阳性(即错误地预测相关的评论)中有293条属于不相关类别。这一类别从各个来源产生的假阳性数量最多。表8显示了另外两个最常见的错误分类类别，以及一个示例注释来说明每个类别。

‎ 查看此图

讨论

主要研究结果

本研究证实，从互联网上获得的评论可以提供对活体捐赠的普遍看法的数据。我们训练过的模型识别了11027条与LKD相关的评论和192192条与LKD无关的评论。上面，我们给出了被错误分类的注释及其相关错误类型的示例分布。注释中有大量的细微差别和微妙之处，可能会导致人类分类器的混乱，进一步增加了机器分类器的难度。

许多用户在评论中表达了他们对当前政策的看法。尽管在如何获取器官方面存在分歧，但几乎所有用户都支持让器官和移植更容易获得。当指定的或过去的器官捐赠者面临器官需求时，对他们给予优先或优先的政策得到了显著的支持。在补偿捐献费用的背景下，也经常观察到关于器官销售合法化的对话。这两个方面主要是对利用弱势群体的关注和对道德市场自我调节的信心。检索注释的各种来源提供了不同类型的注释。包含政策观点的评论最有可能来自《纽约时报》，尽管它们在Reddit上也很常见。《纽约时报》和YouTube评论中也有一些人或他们的配偶曾是活体捐赠者的自我报告。

Twitter的字符限制特性意味着全面的想法不太可能被捕捉到。推特上也更有可能出现人们请求捐赠或支持需要器官的亲人的评论。YouTube上有意义的评论更多来自有过器官移植经验的人，他们要么是病人，要么是捐赠者。虽然Reddit上的许多评论都没什么用，但“问我任何事”(AMA)版块提供了名副其实的信息宝库。有一些帖子是由无私捐赠的人写的，并邀请人们参加“AMA”。这种形式，比我们遇到的任何其他形式，似乎产生了最深思熟虑的问题，担忧，甚至解决这些担忧(转用一个这样的人在了解捐赠者的亲人的代金券制度时的说法:“我以前考虑过这样做，但实际上从来没有做过任何事情。这激励了我去报名。谢谢!”)。

尽管许多用户都给出了积极的回应，但也有一些用户持怀疑态度。一位这样的用户表示:“活体捐赠者的风险也被低估了……人们内疚地充当活体捐赠者，结果却发现自己日后面临更大的风险。”其他人写下了医疗系统令人沮丧的经历或其他担忧，但我们在评论中没有发现任何明显错误的想法。缺乏信息比拥有错误信息更常见。

为了从网上找到的评论和意见中有效地编译相关信息，我们使用了经过特定标准驱动分类标签训练的深度神经网络。通过这种方法，我们能够开发一个模型，可以识别与LKD相关的评论，预期准确率为84%。虽然还需要进一步的工作来完善这些结果，并根据相关因素对这些相关评论进行分类，但第一阶段的分类表明，该方法可能是一个有价值的工具，可以提取与活体捐赠障碍和动机相关的主题。因为这个主题是如此微妙，训练数据的定义良好的分类标准将是开发一个成功模型的重要组成部分。让多人合作进行训练数据注释以确保一致性是至关重要的。如果没有这些措施，这种方法的可行性就变得不那么确定。

我们注意到，有相当数量的评论被归类为无关紧要，这在某种程度上是意料之中的。我们提出以下原因来解释为什么我们的模型错误地将不相关的评论分类为与LKD相关的:首先，与分类的评论总数(1174/ 203219)相比，训练数据的大小相对较小。我们预测，有了更多(和更正确的标记)训练数据，模型将产生更好的预测。其次，基于神经网络的模型往往存在泛化误差，有时会被识别为缺口[32］．第三，如上所述，在这个主题中存在着大量的细微差别，某些没有真正意义的词可能对模型来说是重要的。例如，“parts”可以被视为表示身体(即器官)“部分”的单词，但它只是一个在许多情况下使用的常用词。

对于死者的肾脏捐献，有一些研究利用现代计算机科学方法来分析与肾脏捐献相关的动机和挑战。最近一项研究[33]讨论了使用自然语言处理来收集关于已故捐赠者的信息以及他们肾脏的潜在用途。这些信息是从器官共享联合网络的捐赠网项目中检索到的，在该项目中，器官采购组织输入有关捐赠者的医疗和社会历史、他们的录取历史以及其他值得注意的信息的原始文本。一项类似的研究[34]收集了342篇包含“donacion de organos”的西班牙文章。作者发现，对肾脏捐赠的积极看法可能是西班牙肾脏捐赠率高的一个促成因素。在另一项研究中[35]，收集了社交媒体帖子，以研究社交消息活动对已故肾脏捐赠的限制。

通过对训练数据进行人工分类的过程，我们观察到了上面列出的先前文献中提到的几乎所有障碍，以及模式的早期指标。例如，数据表明，评论中最常见的因素与对潜在捐赠者的潜在影响直接相关:考虑捐赠的直接成本和风险，以及这种决定对与捐赠者关系密切的人造成的后果。更广泛的影响因素，如文化和信仰体系、家庭成员的影响以及对医疗系统的看法，与与活体捐赠相关的决定相关性较低，而与与已故捐赠相关的决定相关性较高。在我们手动标记的数据中，我们没有观察到HCPs作为影响潜在捐赠者捐赠决定的因素的影响。先前的研究表明，由HCPs造成的捐赠障碍包括，例如，移植和透析团队之间缺乏沟通，HCPs之间缺乏培训和信息，以及一些HCPs对LKD的消极态度[10］．

我们的研究还发现，评论的内容和质量根据检索地点的不同而有相当大的差异。Reddit的ama邀请人们提出任何问题，由亲身经历过这个过程的人来回答。这种特殊资源的缺点是只有少数来自活体肾脏捐赠者的ama。《纽约时报》的评论更依赖于所附文章的内容，没有与作者进行对话，更有利于有关政策的辩论，而不是回答好奇的潜在捐赠者的问题。进一步的分析可能会对什么样的互联网资源能产生最有意义的信息提供更深刻的见解。

局限性和未来工作

这些收集到的数据为LKD的研究提供了一些机会。这些数据可以用于更复杂的分析，如主题建模和聚类，目的是检测多源数据集中的障碍和动机。未来的工作可能会考虑以下内容:取代第一阶段的二元分类，考虑4种分类可能会有益，例如“无关”、“与接受者相关”、“已故捐赠”和“与lkd相关”。由于死者捐赠和接受者相关的问题通常与有关政策的对话交织在一起，这样的识别也可能有助于减轻对这些主题的错误分类，并减少被错误地归类为相关的完全无关的评论的数量。其他方法，如多任务学习模型，可以根据其媒体来源对评论进行预测，而不需要为每个来源建立独立的模型。

此外，我们假设每个注释都应该独立阅读，以帮助模型分类。然而，有时可以在注释之间保持关联。例如，在Reddit中，每个评论都有一个ID，如果它是一个回复，则有一个父ID将其连接到用户回复的原始评论。通过使用这种关联，独立性假设可能是不必要的，因为可以更好地理解注释是在LKD上下文中编写的(或没有编写)。这可能有助于减少评论的数量，这些评论本身不包含足够的信息来确定它们与LKD(“信息不足”)的相关性。

我们观察到，很少有人传播神话或公然错误的想法。在讨论死者捐赠的评论中(即与LKD无关的评论)，有愤世嫉俗的评论称，医生可能会减少挽救垂死病人生命的努力，以便快速收获器官。虽然在一些相关评论中出现了对个人经历的冷嘲热讽或沮丧，但对LKD的误解通常嵌入在恐惧或担忧的表达中(例如，“捐赠风险”类别)。我们建议用户更有可能没有(或很少)关于LKD的信息，而不是有不正确的信息。这些评论普遍表明，人们对LKD感到好奇，容易提出问题，并希望就如何增加活体捐赠者的数量提出建议。

我们也承认更多的注释可以添加到训练数据中，因为给定数量的标记注释是注释过程的耗时性质的结果。在这项探索性研究中，我们专注于通过人类注释过程估计必要的样本量，并首次定义可能的标签。标签注释可根据作者的要求提供。最后，我们承认，这些数据不一定能代表所有人群。尽管互联网接入在全球范围内不断扩大，但用户的分布并不均匀，每个来源将有不同的用户群。例如，根据《2022年全球数字概述报告》[36]， Reddit用户中男性的可能性是女性的两倍，Amaya等人讨论了其他研究[37，他们估计全球80%到90%的Reddit用户年龄在18到34岁之间。每个其他来源可能都有自己独特的人口统计特征，在从数据中做出推断时应该考虑这些特征。

有必要了解为什么人们选择或不选择成为活体肾脏捐赠者。虽然先前的文献在理解捐赠的背景方面做出了贡献，但没有公开的数据集，可以了解更广泛的人群对这个问题的想法。该项目通过收集203219条独特的互联网用户评论和推文，并开发了一个机器学习分类模型来识别与LKD相关的评论，从而向填补这一空白迈出了一步。被分类为与LKD相关的文件被编译成一个数据库，并可根据作者的要求提供。有了这个数据库，就可以更全面地分析人们对LKD的感受和想法。这些数据还可以用来识别关于捐赠的常见误解或可能导致观念改变的信息。虽然对决策因素的严格分类仍有待执行，但本研究的结果表明，机器学习是捕获和分类与LKD相关的互联网评论的一个有前途的工具。