我们通过收集、过滤和清理数据的过程来创建数据集[ 20.]。数据是从不同的来源收集的，包括对纽约时报(NYT)报纸文章的评论，以及社交媒体网站Twitter、YouTube和Reddit上的评论。我们手动标注了一小部分数据(203,219条评论中的1174条)，并设计了一个神经网络来对剩余的评论进行分类。我们用2个标签将数据集分开:与LKD相关或不相关。训练和测试数据的特点见 表1。

图1和 2分别说明训练数据和测试数据中单词的频率和分布。训练和测试数据是在收集所有评论之前进行编译的，因此使用迁移学习对Reddit和YouTube的评论进行最终分类[ 21]。通过手动检查预测，迁移学习模型在Reddit和YouTube评论上得到了很好的验证。

为了使从网络下载评论的过程自动化，我们使用了Pushshift。Reddit的io服务，YouTube的Selenium，以及Twitter和《纽约时报》的应用程序编程接口(api)。对于每个网络资源，我们使用的搜索词旨在捕获与LKD相关的内容，同时也排除了不需要的内容(如政治筹款，否则会出现在搜索词“捐赠”中)。有关此排除过程的更多详细信息，请参见 多媒体附录1。随着时间的推移，推文是通过实时流捕获的，但来自其他3个来源的评论是从各自api允许的任何日期范围内捕获的。由于YouTube没有适合我们目的的API，我们手动在YouTube上搜索“活体肾脏捐赠”一词，并确定了17个相关视频，每个视频至少有30条评论。 表2显示从每个来源收集了多少评论，以及在什么时间段内收集了多少评论。

训练数据的人工标注是本研究的重要任务之一。这个分类标签的目的是确定一个给定的评论是否与活体器官捐赠有关。注释团队处理了1174个随机选择的注释，并确定了每个注释应该如何分类。在这个阶段，我们假设来自每个来源的每条评论都具有相同的权重。这个过程开始于3个注释者合作对一组403条评论进行分类，目的是就如何对评论进行分类达成一致。剩下的771条评论在决策标准更彻底地建立之后进行分类(最终标准将在下一节中描述)。

注释从一个简单的想法开始:捕获提到LKD的注释。但是，人类语言的复杂现实很少简单到可以轻易分类，而且存在很多细微差别。例如，我们是否可以假设一个人对死者捐赠的看法会延续到他们对活体捐赠的看法上?对与LKD相关的政策发表意见的人，即使没有说自己是否会捐款，应该如何分类呢?为了克服这个障碍，每个注释者都获得了一组分类标准，以确定是否应该将注释分类为“相关”。

即使有了明确定义的分类标准，注释团队在对许多注释达成一致意见时仍然遇到了很大的困难。在第一阶段的注释中，需要注释的403条评论中，有124条没有被一致分类。在团队讨论不同意见时，出现了一些指导原则。首先，虽然明确提到器官销售和非法器官交易的评论被排除在外，但标准扩大到允许大多数涉及器官捐赠成本或财务相关政策的其他评论。

第二个原则是改变最初鼓励注释者在不确定和含糊的情况下选择“yes”的立场，而只在他们有信心这样做时选择“yes”。最后一个标准是澄清每个注释必须被视为独立于所有其他数据，并且人类注释者不应该考虑更大的上下文(即讨论中的其他注释)或进行推断。最后的调整代表了人类学习方式与机器学习方式的重要区别。重要的是要注意，这些标准迫使我们排除最终可能有意义的数据，以便为整个模型获得更好的性能。说明决策标准过程的流程图见 图3。我们注意到，在注释过程中，被确定为“不相关”的评论没有被排除标准量化，因此无法获得数字。

我们开发了一个深度神经网络来对剩余的评论进行自动分类( 多媒体附录2)在Python中使用PyTorch 1.11(版本3.8;Python软件基金会)。网络架构如图所示 图4，其中超参数由阴影框表示。 表3显示这些参数的可能值，对每个参数进行评估以确定最佳模型。

在分析文本之前，对文档进行清理和规范化。这种文本处理的目的是将有意义的词从噪声中分离出来。这包括删除奇怪的字符(例如，¬和±)，HTML标签，url，不必要的重复字符(“please”到“please”)，数字字符组合(“401k”)，调整缩写(“I 've”到“I have”)和表情符号。单词也被移除，这样词根相同但后缀不同的单词(如“donate”、“donation”和“donation”)将被视为同一个单词(变成“donat”)。

在此阶段还执行了标记化。标记化是将句子分成更小的部分(如单词和字符)的过程。单词级标记是由单词之间的空格决定的分割，字符级标记是根据字符长度将单词划分为不同部分的过程。例如，我们从单词“Medicare”创建了8个额外的令牌，如下所示 图5。

由于神经网络不能处理文本，我们需要一个层将词汇层转换为数字，这个过程称为嵌入。有几种技术可以实现这种转换，例如Google的Word2Vec [ 22]和斯坦福手套[ 23]。我们对这些工具进行了实验，但是文本主题的特定领域导致了较差的性能。为了解决这个问题，我们输入了我们的词汇(如 图5)到Pytorch嵌入工具[ 24]，它允许用户训练自己的嵌入层。

我们将神经网络架构定义为两层:隐藏层(发生转换的地方)和输出层(决定最终分类的地方)。隐藏层由由长短期记忆单元构建的递归神经网络节点组成[ 25]。我们为输出层生成了这样的概率:如果输出层为给定的评论生成了大于零且小于0.5的数字，则将其分类为不相关;如果在0.5到1之间，则被归类为相关。我们使用了CrossEntropy [ 26]来定义训练过程的损失函数[ 27]并使用了Adam优化器[ 28来优化神经网络。

我们使用嵌套的K-fold验证过程来保证必要的模型通用性[ 29- 31]。在第一次迭代中，我们随机分离20%的数据来构建验证数据集。其余的数据(80%)被分成10个单独的折叠，迭代地用作训练和测试数据。 图6展示了实验的结构。我们选择K=10，这样我们就有10个模型来检查我们的测试数据集。使用K-fold交叉验证的目的是通过在小的、独立的块上训练模型来测试模型在看不见的数据上的表现。K-fold验证在比较单词标记化和字符标记化的有效性时也被认为是有用的。

用于评价分类模型性能的指标是精度(P)、召回率(R)和F1分数。这些指标的计算在等式1、2和3中得到了解释，其中相关的评论被视为正评论，而不相关的评论被视为负评论。使用以下符号:真阳性(TP)，真阴性(TN)，假阳性(FP)，假阴性(FN)。

精确度度量度量在所有被模型分类为相关的评论中，有多少相关评论被正确分类。另一方面，召回度量表明在标注过程标记为相关的所有注释中，有多少注释被正确分类。要选择一个获胜的模型，precision和recall的值都应该接近1。F1分数是准确率和召回率的调和平均值;这种度量提供了一种模型泛化的感觉。准确率(公式4)是所有分类中正确分类的数量。

在为模型识别出满意的超参数后，使用该模型对完整的数据集进行自动分类。为了验证自动结果的质量，对每个预测结果(即“相关”和“不相关”)随机阅读912条评论(纽约时报219条，Reddit 222条，Twitter 187条，YouTube 284条)，并给出一个指标，以根据“处理歧义和其他复杂性”一节中描述的分类标准确定分类是否正确。假阳性(即错误预测相关的评论)被进一步标记，以识别分类器使用中描述的类别所犯的错误 表4。

路易斯维尔大学机构审查委员会为这项研究提供了批准豁免(22.0458)。

这项研究证实，从互联网上获得的评论可以提供对活体捐赠的普遍看法的数据。我们训练的模型识别了11027条与LKD相关的评论和192192条与LKD无关的评论。上面，我们给出了错误分类的注释的示例分布及其相关的错误类型。评论中有大量的细微差别和微妙之处，可能会导致人类分类器的混淆，进一步增加机器分类器的难度。

许多用户发表评论，表达了他们对当前政策的看法。尽管在如何做到这一点上存在分歧，但几乎所有的用户都支持让器官和移植更容易获得。当指定的或过去的器官捐赠者面临器官需求时，他们明显支持一项政策，给予优先或优先。在赔偿捐赠费用方面，也经常看到有关器官买卖合法化的谈话。这两个方面主要是关于利用弱势群体和对道德市场自我监管的信心。从中检索评论的各种来源提供了不同类型的评论。包含政策观点的评论最有可能从《纽约时报》上检索到，尽管它们在Reddit上也很常见。在《纽约时报》和YouTube的评论中，也有一些人或他们的配偶曾经是活体捐赠者。

Twitter的字符限制特性意味着全面的想法不太可能被捕捉到。推特上也更有可能出现人们要求捐赠或为需要器官的亲人提供支持的评论。YouTube上有意义的评论往往来自以前有过移植经验的人，无论是作为患者还是捐赠者。虽然Reddit上的许多评论没什么用处，但Reddit上的“问我任何问题”(AMA)版块提供了名副其实的信息宝库。有些帖子是由无私捐赠的人写的，他们邀请人们参加“AMA”。与我们遇到的任何其他形式相比，这种形式似乎产生了最深思熟虑的问题、担忧，甚至是对这些担忧的解决方案(套用一位这样的人在了解到为捐赠者所爱的人提供代金券系统时的说法:“我以前考虑过这样做，但实际上从未[做过]任何事情。这激发了我报名参加。谢谢!”)。

尽管许多用户对此表示肯定，但也有一些用户持怀疑态度。一位这样的用户表示:“活体捐献者的风险也被低估了……人们对充当活体捐赠者感到内疚，结果却发现自己面临着更大的风险。”其他人写了关于医疗系统令人沮丧的经历或其他担忧，但我们没有在评论中发现任何明显的错误观点。缺乏信息比拥有错误信息更为常见。

为了有效地从网络上的评论和意见中编译相关信息，我们使用了经过特定标准驱动分类标签训练的深度神经网络。通过这种方法，我们能够开发出一个模型，该模型可以识别与LKD相关的评论，预期准确率为84%。虽然还需要进一步的工作来完善这些结果，并根据相关因素对这些相关评论进行分类，但第一阶段的分类表明，该方法可能成为提取与活体捐赠障碍和动机相关主题的有价值的工具。由于这个主题是如此微妙，训练数据的良好定义的分类标准将是开发成功模型的重要组成部分。让多人协作进行训练数据注释以确保一致性是至关重要的。如果没有这些措施，这种方法的可行性就变得不那么确定。

我们注意到，在某种程度上，被归类为不相关的大量评论是意料之中的。我们提出以下原因来解释为什么我们的模型错误地将不相关的评论分类为与LKD相关:首先，与分类的评论总数(1174/203,219)相比，训练数据的大小相对较小。我们预计，有了更多(和更多正确标记的)训练数据，该模型将产生更好的预测。其次，基于神经网络的模型往往有泛化误差，有时被识别为间隙[ 32]。第三，如上所述，在这个主题中存在着大量的细微差别，某些没有真正意义的词语可能对模型来说是重要的。例如，“parts”可以被看作是一个表示身体的“部分”(即器官)的单词，但它只是一个在许多情况下使用的普通单词。

对于死者的肾脏捐赠，有一些研究利用现代计算机科学方法来分析与肾脏捐赠相关的动机和挑战。最近的一项研究[ 33讨论了使用自然语言处理来收集有关已故捐赠者及其肾脏的潜在用途的信息。这些信息是从器官共享联合网络(United Network for Organ Sharing)的捐赠者网(DonorNet)项目中检索到的，在这个项目中，器官采购组织输入有关捐赠者的医疗和社会历史、入院历史和其他值得注意的信息的原始文本。一项类似的研究[ 34]收集了342篇西班牙文文章，其中包含“器官捐赠”(donacion de organos)的内容。作者发现，对肾脏捐赠的积极看法可能是西班牙肾脏捐赠率高的一个因素。在另一项研究中[ 35]，收集了社交媒体上的帖子，以研究社交信息活动对死者肾脏捐赠的局限性。

通过对训练数据进行人工分类的过程，我们观察到几乎所有上述文献中提到的障碍，以及模式的早期指标。例如，数据表明，评论中最常见的因素与对潜在捐助者的潜在影响直接相关:考虑到捐赠的直接成本和风险，以及这种决定对与捐助者关系密切的人的后果。更广泛的影响，如文化和信仰体系，家庭成员的影响，以及对医疗系统的看法，与生前捐赠相关的决定关系不大，而与死者捐赠相关的决定关系更大。在我们手工标记的数据中，我们没有观察到HCPs作为影响潜在捐赠者决定捐赠的因素的影响。先前的研究表明，HCPs导致的捐献障碍包括，例如，移植和透析团队之间缺乏沟通，HCPs之间缺乏培训和信息，以及一些HCPs对LKD持消极态度[ 10]。

我们的研究还认识到，评论的内容和质量在很大程度上取决于它们被检索的位置。Reddit的ama邀请人们提出任何问题，由亲身经历过这个过程的人来回答。这种特殊资源的不足之处在于，只有少数来自活体肾脏捐赠者的ama。《纽约时报》的评论更依赖于所附文章的内容，没有与作者对话，更有利于政策辩论，而不是回答好奇的潜在捐助者的问题。进一步的分析可能会让我们更深入地了解什么样的互联网资源能产生最有意义的信息。

这些收集到的数据为LKD的研究提供了一些机会。这些数据可以用于更复杂的分析，例如主题建模和聚类，目的是检测多源数据集中的障碍和动机。未来的工作可能会考虑以下方面:代替第一阶段的二元分类，考虑4种分类可能是有益的，例如“不相关的”、“与接受者相关的”、“死者捐赠”和“与lkd相关的”。由于死者捐赠和接受者相关的问题通常与有关政策的对话交织在一起，这种识别也可能有助于减轻这些主题的错误分类，并减少完全无关的评论的数量，这些评论被错误地归类为相关的。其他方法，如多任务学习模型，可以根据媒体来源对评论进行预测，而不需要为每个来源建立独立的模型。

此外，我们假设每个评论都应该独立阅读，以帮助模型分类。然而，有时在注释之间保持关联是可能的。例如，在Reddit中，每个评论都有一个ID，如果它是一个回复，则有一个父ID将其连接到用户正在回复的原始评论。通过使用这种关联，独立性的假设可能就没有必要了，因为可以更好地理解评论是在LKD上下文中写的(或没有写的)。这可能有助于减少评论的数量，这些评论本身没有足够的信息来确定它们与LKD的相关性(“信息不足”)。

我们观察到很少有神话或明显错误的想法的传播。在讨论死者捐赠(即与LKD无关)的评论中，有一些愤世嫉俗的评论认为，医生可能会减少对垂死病人的拯救努力，以便尽快获得器官。虽然在一些相关评论中出现了对个人经历的玩世不恭或沮丧，但对LKD的误解通常嵌套在恐惧或担忧的表达中(例如，“捐赠风险”类别)。我们认为，用户更有可能没有(或很少)关于LKD的信息，而不是有不正确的信息。这些评论普遍表明，人们对LKD很好奇，很容易提出问题，并希望就如何增加活体捐赠者的数量提出建议。

我们也承认可以向训练数据中添加更多的注释，因为标注注释过程的耗时特性导致了标注注释的给定数量。在这项探索性研究中，我们的重点是通过人工注释过程估计必要的样本量，并首次定义可能的标签。有标签的评论可根据作者的要求提供。最后，我们承认这些数据不一定代表所有人群。虽然互联网接入在全球范围内不断扩大，但用户的分布并不均匀，每个来源都有不同的用户基础。例如，根据《2022年全球数字概览报告》[ 36]， Reddit用户中男性是女性的两倍，以及Amaya等人讨论的其他研究[ 37据估计，全球80%至90%的Reddit用户年龄在18岁至34岁之间。每个其他来源可能都有自己独特的人口特征，在根据数据进行推断时应考虑这些特征。

我们非常需要了解人们选择或不选择活体肾脏捐献者的原因。尽管先前的文献对理解捐赠的背景做出了贡献，但没有公开的数据集，其中包含有关更广泛人群对此事的想法的信息。该项目通过抓取203219条独特的互联网用户评论和推文，并开发一个机器学习分类模型来识别与LKD相关的评论，为填补这一空白迈出了一步。归类为与LKD相关的文件被汇编成一个单一的数据库，并可应作者的要求提供。有了这个数据库，为更全面地分析人们对LKD的感受和想法奠定了基础。这些数据还可以用来识别关于捐赠的常见误解或可能导致改变想法的信息。虽然对决策因素的严格分类仍有待执行，但本研究的结果表明，机器学习是捕获和分类与LKD相关的互联网评论的有前途的工具。