这是一篇开放获取的文章,根据创作共用署名许可(http://creativecommons.org/licenses/by/2.0/)的条款发布,允许在任何媒介上无限制地使用、分发和复制,前提是正确引用最初发表在《医学互联网研究杂志》上的原创作品。必须包括完整的书目信息,//www.mybigtv.com/上的原始出版物的链接,以及此版权和许可信息。
尽管许多患有严重疾病的人参加在线支持社区,但很少有研究调查参与者如何在这些网站上获得和提供社会支持。
第一个目标是提出并测试一个动态过程模型,在线支持社区的参与者通过该模型获得并提供情感和信息支持。第二项是使用机器学习技术演示对话数据的计算机编码的价值(1)通过复制关于人们如何获得支持的人类编码数据的结果;(2)通过回答人类编码数据的小样本难以解决的问题,即暴露于不同类型的社会支持如何预测在线支持社区的持续参与。第三是提供这些机器学习技术的详细描述,以使其他研究人员能够在这些社区中进行大规模的数据分析。
分析了在线癌症支持社区约9万名注册用户之间的交流。该语料库包含1,562,459条消息,分为68,158个讨论线程。亚马逊机械土耳其工人编码了(1)1000条关于5个属性的线程启动消息(积极和消极的情感自我表露,积极和消极的信息自我表露,问题)和(2)1000条关于情感和信息支持的回复。他们的判断被用来训练机器学习模型,自动估计消息中这7个属性的数量。在属性方面,基于人类的判断和基于计算机的判断之间的平均皮尔逊相关系数为0.65。
第一部分使用人工编码数据来调查(1)4种类型的自我表露和开始帖子中的提问与(2)第一次回复中情感和信息支持的数量之间的关系。消极情绪的自我表露(beta= 0.24,
自我表露在获得情感支持方面是有效的,而提问在获得信息支持方面是有效的。此外,人们对特定类型支持的渴望会影响他们所获得的支持。最后,人们得到的支持类型会影响他们留在或离开团体的可能性。这些结果证明了机器学习方法在调查在线支持社区中社会支持交换动态方面的效用。
很大一部分患有慢性或重大疾病的人使用在线资源来获取关于他们的病情和应对方法的信息。尽管信息网站是最受欢迎的,但许多人——尤其是癌症患者和幸存者——参与在线健康支持社区[
在线下和在线社区中确定的几类社会支持中,情感和信息支持受到了最多的理论和实证关注。莱丁斯与葛芬[
有趣的是,大多数关于社会支持的研究,无论是线下的还是线上的,都集中在它的生理和心理影响上,而不是它是如何产生的。由于这个原因,我们对人们用来寻求他人支持的策略知之甚少。这令人惊讶,因为支持的交换是一个动态的沟通过程,涉及寻求支持者和提供支持者的行动[
社会支持激活模型[
我们的研究的一个重要特征是它依赖于自动化技术来分析社区成员之间的大量对话交流。大多数关于支持社区沟通的研究都是基于手工编码相对较小的信息样本(例如,[
利用大规模数据和计算机辅助内容分析的价值有三个原因。首先,由于机器学习模型通常可以很容易地复制,它们使对类似研究问题感兴趣的研究人员能够部署可比方法来挑战、验证或扩展其他人的结果。其次,机器学习方法可以分析的大规模数据使研究人员能够回答更微妙的研究问题,进行更细粒度的分析,并检查参与者之间的长期交互模式。例如,我们使用了一个乳腺癌支持社区中3万多名参与者在9年时间里的近6万次交流数据,我们已经证明,获得情感和信息支持对成员随后的群体参与有不同的影响[
在本文中,我们使用档案数据来研究人们在线程启动帖子中所做的对话动作与他们收到的响应支持的数量和类型之间的关系。在第1部分中,我们使用一个相对较小的样本(大约1000个手工编码的会话线程)进行了分析。在第2部分中,我们使用机器学习算法来分析超过67000个对话线程,复制了这些结果。这些算法使用类似于多元回归的统计程序,将消息的语言特征与人类对它们的判断联系起来[
在这个模型中,我们假设诱导策略对支持的影响是由支持寻求者的感知需求所介导的。这个假设很重要,因为如果没有这样一个过程,探索者的行为和他人反应之间的关系可以被解释为行为模仿。行为模仿是人类交流中公认的现象。
社会支持获取与提供的概念模型。
第一部分调查了支持小组成员用来引出情感和信息支持的语言策略,以及他们感知需求的冥想作用。因为每一个构念
我们研究了一个大型在线乳腺癌支持社区中的支持对话,该社区具有各种交流平台,包括讨论板和聊天室。讨论板平台是互联网上最受欢迎和最活跃的乳腺癌在线支持社区之一。在我们进行研究时,它有超过90,000名注册会员和66个论坛,按疾病阶段(如转移性乳腺癌)、治疗(如激素治疗)、人口特征(如40-60岁的女性)和治疗方案(如乳房重建)等标准组织。在论坛上,成员们提出问题,分享故事,并阅读关于如何应对疾病的帖子。这个讨论板平台为研究在线支持社区的动态提供了丰富的环境。
我们收集了2001年10月至2011年1月在线支持社区讨论区的所有公开帖子。在此期间,这些论坛在68158个讨论线程中总共包含了1,562,459条消息。每个讨论线程的中位数长度为6条消息(平均值22.9,标准差280.5)。从第一条线程启动消息到最后一条线程的平均生命周期为2天(平均值29.3,标准差115.6)。总共有81.12%(55,291/68,158)线程启动消息在24小时内收到响应,而11.42%(7785/68,158)从未收到响应。
我们雇佣了亚马逊Mechanical Turk (MTurk)的工作人员来判断从1000个线程启动者的随机样本中有多少消息,以及他们的第一个回复中包含了每个结构
我们创建了独立的任务来判断每个概念
Turkers执行的任务以及每个构造的类内相关性(ICC)。
构造 | 国际刑事法庭 | 对土耳其人的定义 | 土耳其人提示 | |
|
|
情感自我表露是指作者与他人讨论她的感受和情绪的程度,如快乐、恐惧、悲伤和愤怒。 |
|
|
|
积极的情感自我表露 | 0.90 | 积极情绪自我表露的例子:“现在化疗结束了,我发现自己早上醒来时感觉肩上的巨大负担已经卸下了。” | 这条信息在多大程度上包含了积极的情感自我表露? |
|
消极情绪自我表露 | 0.94 | 消极情绪自我表露的例子:“看完我的乳房x光检查报告后,我吓坏了。” | 这条信息在多大程度上包含了消极的情绪自我表露? |
|
|
信息自我披露涉及作者与他人讨论其个人信息的程度,如健康状况、诊断结果和家庭状况。信息自我表露可以与作者积极的、消极的或中性的生活事件有关。 |
|
|
|
积极的信息自我表露 | 0.85 | 正面信息自我表露的例子:“多年来第一次带家人去克利夫兰动物园。” | 这条信息在多大程度上包含了积极的信息自我表露? |
|
消极的信息自我表露 | 0.91 | 消极信息自我表露的例子:“大约5周前,我在腋窝发现了一个肿块。它不是固定的,而是可以移动的。每隔一段时间,我的左乳房就会有周期性的刺痛或单一的刺痛。” | 这条信息在多大程度上包含了消极的信息自我表露? |
|
0.91 | 当提出一个问题时,作者是在请求团队的回应。可以直接或间接地提出问题。问题的例子: |
这条信息在多大程度上提出了一个问题? | |
|
|
|
|
|
|
情感支持诱导 | 0.91 | 当寻求情感支持时,作者试图获得理解、鼓励、肯定、同情或关心。 | 这条信息在多大程度上寻求情感支持? |
|
信息支持诱导 | 0.95 | 当寻求信息支持时,作者试图获得建议、推荐或知识。 | 这条消息在多大程度上寻求信息支持? |
|
|
社会支持分为两种:情感支持和信息支持。 |
|
|
|
提供情感支持 | 0.92 | 情感支持信息提供理解、鼓励、肯定、同情或关心。 | 这条信息提供了多少情感支持? |
|
提供信息支持 | 0.92 | 信息性支持消息提供建议、推荐或知识。 | 这条消息提供了多少信息支持? |
10个土耳其人做出每个判断,用不同的子集对每条信息进行评级。我们通过平均打分来汇总员工对每条信息的回复。土耳其人判断提问的每条信息报酬为0.03美元,判断情绪自我表露、信息自我表露、感知支持需求和支持提供的每条信息报酬为0.05美元。为了鼓励员工认真对待数字评分任务,他们还在信息中突出显示了为他们的评分提供证据的单词和短语。为了进一步控制注释的质量,我们将员工库限制为土耳其人,他们表明了美国的位置,并且至少98%的工作被他们以前的土耳其雇主接受。
由Turkers编码的结构之间的描述性统计和相关性。
变量 | 意思是(SD) | 1 | 2 | 3. | 4 | 5 | 6 | 7 | 8 |
1.积极的情绪表露 | 1.55 (0.96) | 1 |
|
|
|
|
|
|
|
2.消极情绪表露 | 2.39 (1.52) | 06 | 1 |
|
|
|
|
|
|
3.积极的信息披露 | 1.89 (1.09) | .76 | .09点 | 1 |
|
|
|
|
|
4.负面信息披露 | 3.58 (1.72) | 。 | .68点 | 。 | 1 |
|
|
|
|
5.问题问 | 4.94 (2.17) | .35点 | 06 | 点 | 。31 | 1 |
|
|
|
6.情感支持诱导 | 2.75 (1.66) | 13。 | .79 | .09点 | 算下来 | 厚 | 1 |
|
|
7.信息支持诱导 | 4.21 (2.01) | 36 | 06 | .37点 | 点 | 多多 | 陈霞 | 1 |
|
8.提供情感支持 | 2.68 (1.43) | 16 | 点 | .14点 | 收 | 。 | 报 | 。 | 1 |
9.提供信息支持 | 2.93 (1.47) | 23) | . 01 | 23) | 。 | 点 | 13。 | 报 | 。 |
以下是我们最终手工编码数据集中的2个示例。例1显示了具有高情感支持和低信息支持的消息,例2显示了具有低情感支持和高信息支持的消息。示例消息使用Bruckman [
例1(情感支持=5.7;信息支持= 1.0):
朱莉,你经历了这么多困难,但你仍然在学校表现得很好……你真的激励了我。热烈的网络拥抱和最美好的祝愿:>
例2(情感支持=1.2;信息支持= 4.5):
结外延伸是指肿瘤通过淋巴结壁延伸。这在病理报告中被注意到,但在主要情况下,它不是很重要,并且不用于评估癌症分期。
我们使用类内相关性(ICC)评估了评分者判断的可靠性,它表明了判断中可归因于被判断的信息的方差比例。
我们首先测试了自我表露引发情感支持,而问题引发信息支持的假设,使用1000个turker编码的信息数据集。我们使用结构方程模型研究了帖子发起者自我表露和提问的数量与第一个回复中提供的情感和信息支持的数量之间的关系。报告了标准化回归系数(β)。
更多的线程启动信息包含消极的情绪自我表露(beta=。24, se 0.04,
参与者使用不同的策略来获得信息支持。发帖者在明确要求时更有可能获得信息和建议,但在描述生活中积极的事件时则不太可能得到。线程启动者提出的问题越多,第一个回复提供的信息支持就越多(beta=。38, se 0.03,
基于turker编码数据的社会支持沟通过程路径模型分析。值表示标准化回归系数。ε1和ε2表示误差项。*
当人们以自我表露为主题时,特别是当他们透露了生活中消极的想法、感受和消极事件时,当他们避免问问题时,其他人可能会为他们提供情感支持。然而,当他们提出问题并避免描述生活中积极的事件时,其他人会为他们提供信息和建议。我们假设这些语言特征会导致社会支持,因为社区中的其他参与者分别将它们视为情感支持和信息支持需求的指标。也就是说,社区的其他成员将这些语言特性视为对特定类型支持的请求。为了验证这一假设,我们进行了中介分析,以评估线程启动消息中的语言特征是否对回复中的情感和信息支持有影响,因为它们表明了对特定类型支持的渴望。
结果显示在
从获得情感支持的角度来看,所有言语行为的效果都部分或完全受到其对作者寻求情感支持判断的影响。消极的情绪自我表露(写下悲伤、恐惧、愤怒和其他消极的想法和感受)与获得更多的情感支持有关,这种影响完全由作者寻求情感支持的感知所介导(间接效应/总效应=.19/.21=90%);在控制了作者寻求情感支持的知觉后,消极情绪自我表露对获得情感支持的直接影响变得不显著(beta=.02,
关注信息支持的接受,积极和消极的信息自我表露和提问的效果完全被它们对作者寻求信息支持的判断的直接影响所调节。尽管人们可能在提问后获得信息支持(总效应=.26),但总效应是由提问和寻求信息之间的联系以及寻求信息和接受信息之间的联系(.29/.26=112%)介导的。同样地,在接受信息支持的积极信息披露的总负相关中,有42%是由它与作者寻求信息支持的感知之间的关联所介导的(-.05 / -.12 =42%)。
在帖子开始的时候,语言特征直接影响了发帖者寻求情感和信息支持的感知,以及对情感和信息支持的接受。值表示标准化回归系数。ε1、ε2、ε3、ε4表示误差项。*
第2部分试图部分复制前面描述的分析,这些分析基于对1000个交互的人类编码,通过使用机器学习技术对58,357个交互进行自动化编码。我们构建了机器学习模型来自动测量发帖者在帖子开始时使用的语言诱导策略,以及他们在第一次回复时获得的情感和信息支持。我们的目标是使用机器学习方法将信息的特征与人类对各种诱导策略以及情感和信息支持的存在所做的判断联系起来。如随后所述,输入特征包括消息的语言特征,例如长度、来自一般和特定领域词典的单词、语法特征(例如,名词和动词短语的顺序)、高级语义特征(例如,建议和问题的存在)和问题。输出是数值,表示一条信息提出问题或提供各种类型的自我披露或支持的程度。一个模型是成功的,如果(1)它对感兴趣的结果的评估与人类法官的评估相匹配;(2)它是简约的,使用少量的输入特征,同时产生准确的评估。
构建、验证和应用机器学习模型涉及5个步骤。首先,人工判断手工编码的语言策略和信息样本中的支持条款。他们的判断代表了“基本事实”或“黄金标准”,我们将机器学习估计与之进行比较。其次,我们将信息表示为一组可以被计算机解释的语言特征,并将其作为机器学习算法的输入。第三,通过迭代测试机器学习算法的不同配置和输入特征的组合,我们从部分手工编码的数据中确定了最佳的机器学习模型。第四,为了评估最终模型的性能,我们将它们应用于一个数据样本。最后,我们通过应用机器学习模型来测试假设,自动编码整个数据集中的58,357个线程启动者-优先回复对。
由于大多数健康研究人员不熟悉用于构建机器学习模型来测量自我表露、提问、情感和信息支持的方法,我们将详细描述它们及其基本原理。对于机器学习的一般处理,我们建议读者参考Witten等人[
我们使用第1部分中收集的注释作为机器学习模型训练的人类编码数据集。关于如何获得人工注释的详细信息已在第1部分中描述。
在第二步中,信息被表示为较低级的、计算机可读的语言特征,这些特征可能提供文本是自我表露、提出问题或提供情感或信息支持的线索。我们将重点放在我们认为可以反映人们谈论疾病及其关系时所使用的主题和写作风格的领域的语言特征的搜索上。我们关注6个语言领域:
身体:在线健康支持社区中最常见的对话主题之一涉及患者的身体以及疾病如何改变他们的身体。参与者可能会描述他们的身体状况以寻求建议或与他人分享他们的经历。有时他们会通过提及自己身体的变化来告诉别人治疗的结果,比如体重减轻或肿瘤的大小。对身体的讨论可以发出提供支持的信号,而不仅仅是自我表露。
积极/消极的情绪和事件:揭示潜在的情绪或分享个人生活事件和故事是一种自我表露和提供支持的方式。在线支持参与者经常分享自己的个人感受,并使用表示快乐、恐惧、愤怒和其他情绪状态的语言。人们还经常描述他们生活中发生的积极的事情,比如成功的治疗,以鼓励他人并为他们提供支持。
社会:社会关系对癌症幸存者至关重要。他们的疾病可能会改变他们与他人互动的方式。通过与他人的互动,他们可以感受到支持,并获得面对疾病的力量。在缺乏支持的情况下,他们可能会感到被抛弃。
精神方面:精神或宗教方面的评论可以提供社会支持,尤其是对那些有强烈宗教信仰的人。在这个在线乳腺癌社区中,精神评论的例子是“上帝保佑”和“我会把你加入我的祈祷名单”。
时间:在线支持讨论中经常提到与时间相关的信息。例如,癌症的分期和治疗过程涉及到时间。
语言结构:语言结构,如句子结构和标点符号,可以是社会支持的指标。例如,以代词“I”开头的句子很可能是自我表露。当作者提出直接问题时,句子通常以问号结尾,或者使用动词-主语的顺序(例如,“can you”)。
为了实现这6个领域的语言特征,我们测量了3种低级语言特征
1.语言查询和字数(LIWC)词典
代词:我,我们,你,她/他,他们,非人称代词
时态:助动词,过去,现在,将来
情绪:积极情绪、消极情绪(焦虑、愤怒、悲伤)
其他话题:认知机制、生物过程、时间、宗教、死亡
2.潜狄利克雷分配(LDA)主题字典
诊断前、治疗计划、论坛交流、适应诊断、经济问题、淋巴水肿、饮食、家人和朋友、积极生活事件、手术、思想和感受、放化疗、家族史、情绪反应、肿瘤治疗、精神、情感支持、常规和时间表、脱发和外观、术后问题
3.句法和情感特征
长度:句子数,每句字数
否定:不
词性:专有名词、形容词、基数
建议模式:建议动词,
疑问句:问号,any, <动词+主语>,间接疑问句
状态:是动词,静态动词,
主体性:强主体性、弱主体性
药品:FDA药品
第一种语言特征来源于Pennebaker和他的同事开发的通用字典[
LIWC程序是一个单词计数程序,它计算文本中单词与代表语言维度(例如,代词,时态),心理结构(例如,积极情绪)和个人关注(例如,休闲,死亡)的68个预定义字典中的每一个匹配的频率[
上述特征是一般性的,而不是为癌症相关讨论的内容量身定制的。对支持社区文本的分析研究表明,不同的主题可以标志不同类型的社会支持互动[
潜狄利克雷分配(LDA)主题词典中的词汇样本。
LDA的话题 | 样本的词汇 |
Prediagnosis | 告知,约定,等待,回来 |
治疗计划 | 临床、风险、医学、治疗 |
论坛交流 | 发布,阅读,帮助,讨论 |
调整诊断 | 理解,尝试,体验 |
金融问题 | 保险,计划,公司,工资 |
淋巴水肿 | 手臂疼痛肿胀水肿 |
饮食 | 吃,体重,食物,运动,身体 |
家人/朋友 | 女儿,妹妹,妻子 |
积极的生活事件 | 爱,美好,快乐,享受,乐趣 |
手术 | 乳房,外科医生,乳房切除术 |
想法和感受 | 思考,记住,相信 |
同步放化疗 | 化疗,放疗,治疗 |
家族病史 | 妈妈,孩子,年龄,年轻 |
情绪反应 | 更好,幸运,害怕 |
肿瘤治疗 | 活检,淋巴结,阳性,请报告 |
精神上的 | 爱,上帝,祈祷,祝福,和平 |
情感支持 | 希望、拥抱、高兴、遗憾、最好、好运 |
程序/计划 | 今天,晚上,睡觉,工作 |
脱发/外观 | 头发,假发,生长,头 |
参与问题 | 疼痛,出血,他莫西芬,症状 |
每句话的句子数和字数是用来表示信息长度和复杂性的特征。否定特征是消息中包含否定词或短语的句子数,例如“不”、“不应该”或“没有”。由于某些词性(POS)可以传达与疾病相关的信息或情感,我们计算了几个特定POS标签的数量。例如,专业标签可以用专有名词表示(如“史密斯医生”),情绪状态可以用形容词表示(如“幸福”生活),数字可以用来描述症状或治疗方法(如“活检后10天”)。我们应用了斯坦福POS标记器[
二元故事特征表明作者是否在信息中讲述了一个个人故事。一位语言专家将2200条随机选择的信息分为故事和不是故事。然后,我们建立了一个机器学习模型来预测信息的作者是否在讲述一个故事。该模型的特性集包括前面描述的所有基本语言特性。人类编码与计算机预测之间的kappa一致性统计值为.88,表明高度一致[
语言特征与语言使用领域的映射。
语言特征和用法域 | LIWC | LDA的话题 | 语法 |
身体 | 生物过程,死亡 | 诊断前、治疗方案、适应诊断、淋巴水肿、饮食、手术、化疗、家族史、肿瘤治疗、脱发和外观、术后问题 | 药物 |
积极/消极的情绪和事件 | 情感,认知机制 | 经济问题,积极的生活事件,思想和感受,情绪反应,情感支持 | 状态,主体性 |
社会 | 代词 | 论坛交流,家人朋友 | - - - - - - |
精神上的 | 宗教 | 精神上的 | - - - - - - |
时间 | 时间 | 日程安排 | - - - - - - |
语言结构 | 紧张的 | - - - - - - | 长度,否定,词性,建议模式,问题模式 |
我们的任务是一个机器学习回归问题。我们建立了7个机器学习回归方程来预测每条信息中土耳其人对情感或信息支持、提问或自我表露量的判断的平均值(见中列出的判断维度)
7个机器学习模型的准确性和特征。
机器学习模型和十大特征 | 准确性(皮尔森 |
SMOreg的特征权重b | |
|
无误 |
|
|
|
积极情绪 |
|
0.32 |
|
每句话字数 |
|
0.28 |
|
宗教 |
|
0.25 |
|
<请+动词> |
|
-0.21 |
|
句子数 |
|
0.16 |
|
< subject + positive_形容词> |
|
0.13 |
|
否定 |
|
-0.10 |
|
我们 |
|
0.07 |
|
金融问题 |
|
-0.07 |
|
强烈的主观性 |
|
0.07 |
|
.59 |
|
|
|
焦虑 |
|
1.18 |
|
愤怒 |
|
0.51 |
|
< SUBJECT_I > |
|
0.40 |
|
悲伤 |
|
0.28 |
|
< subject + negative_形容词> |
|
0.27 |
|
死亡 |
|
0.23 |
|
否定 |
|
0.18 |
|
强烈的主观性 |
|
0.17 |
|
每句话字数 |
|
0.14 |
|
句子数 |
|
0.14 |
|
。45 |
|
|
|
积极情绪 |
|
0.31 |
|
宗教 |
|
0.27 |
|
悲伤 |
|
-0.25 |
|
句子数 |
|
0.25 |
|
每句话字数 |
|
0.23 |
|
<请+动词> |
|
-0.20 |
|
< subject + positive_形容词> |
|
0.16 |
|
日程安排 |
|
0.13 |
|
生物过程 |
|
-0.13 |
|
助动词 |
|
-0.12 |
|
.64点 |
|
|
|
焦虑 |
|
0.42 |
|
句子数 |
|
0.41 |
|
任何 |
|
0.32 |
|
生物过程 |
|
0.28 |
|
肿瘤治疗 |
|
0.26 |
|
< SUBJECT_I > |
|
0.26 |
|
< subject + positive_形容词> |
|
-0.25 |
|
愤怒 |
|
0.24 |
|
我 |
|
0.23 |
|
淋巴水肿 |
|
0.21 |
|
尾数就 |
|
|
|
句子数 |
|
-0.82 |
|
宗教 |
|
-0.72 |
|
每句话字数 |
|
-0.64 |
|
积极情绪 |
|
-0.59 |
|
问号 |
|
0.52 |
|
任何 |
|
0.50 |
|
专有名词 |
|
-0.40 |
|
<请+动词> |
|
0.36 |
|
精神上的 |
|
-0.30 |
|
否定 |
|
0.27 |
|
结果 |
|
|
|
句子数 |
|
0.55 |
|
情感支持 |
|
0.46 |
|
我们 |
|
0.45 |
|
她/他 |
|
-0.44 |
|
你 |
|
0.37 |
|
问号 |
|
-0.33 |
|
强烈的主观性 |
|
0.24 |
|
调整诊断 |
|
0.23 |
|
是动词 |
|
0.23 |
|
积极的生活事件 |
|
-0.23 |
|
.85 |
|
|
|
句子数 |
|
1.13 |
|
每句话字数 |
|
0.38 |
|
问号 |
|
-0.33 |
|
精神上的 |
|
-0.26 |
|
参与问题 |
|
0.22 |
|
我 |
|
-0.20 |
|
|
0.20 | |
|
强烈的主观性 |
|
-0.19 |
|
论坛交流 |
|
-0.17 |
|
肿瘤治疗 |
|
0.16 |
一个精确度相关是10个人类判断的平均值与机器学习模型输出之间的皮尔逊积矩相关。
b支持向量机回归模型的输出特征权重显示了消息中特征的存在与人类对该消息的判断之间的关联强度。
考虑到所有这些模型都有足够的有效性,然后我们应用它们来衡量我们数据集中150万条信息中的每一条的情感和信息支持、自我表露和提问的数量(步骤5)。
使用来自58,357个至少收到一个回复的线程启动者的机器编码数据,我们试图部分复制第1部分中提出的分析(
使用机器学习的结构之间的描述性统计和相关性(N=58,357个讨论线程)。
变量一个 | 意思是(SD) | 1 | 2 | 3. | 4 | 5 | 6 |
1.积极的情绪表露 | 1.27 (0.26) | 1 |
|
|
|
|
|
2.消极情绪表露 | 2.29 (1.08) | .19 | 1 |
|
|
|
|
3.积极的信息披露 | 1.67 (0.41) | 点 | .14点 | 1 |
|
|
|
4.负面信息披露 | 3.69 (1.26) | 0。 | 正 | .04点 | 1 |
|
|
5.问题 | 5.26 (1.29) | 53 | 16 | 的相关性 | 50 | 1 |
|
6.提供情感支持 | 2.64 (1.06) | 。 | 23) | 。 | 。 | 13。 | 1 |
7.提供信息支持 | 2.95 (1.18) | 口径。 | 。08 | .20 | . 21 | 36 | 16 |
一个所有变量都是由机器学习模型估计的,该模型预测了一条消息中包含的第一列结构的数量,按照李克特7分制打分,1=完全没有,7=非常多。自我表露和问题测量是基于线程启动信息,而情感和信息支持的测量是基于线程中收到的第一个回复。
从这个大样本的机器编码数据中得到的大多数结果与从小样本的人工编码数据中得到的结果相同。该模型显示,4种类型的自我表露在线程启动消息中出现的次数越多,第一个回复包含的情感支持(全部)就越多
基于机器编码数据的社会支持传播过程分析路径模型。ε1和ε2表示误差项。所有P值均<.001。
第1部分和第2部分的结果都与不同的会话策略导致获得不同类型的社会支持的论点相一致。当人们明确要求得到信息和建议时,他们会得到信息和建议,而当他们透露更多关于生活中事件的细节以及他们的想法和感受时,尤其是消极的想法和感受时,他们会得到情感上的支持。使用不同的方法——一小部分手工编码数据样本和一大部分机器编码数据样本——这些部分的研究得出了类似的结论,即人们在寻求支持时使用的语言与他们得到的支持类型之间的关系。然而,从机器学习模型中得出的结论可以更精确,因为它们的样本量更大。例如,在人类编码和机器编码的数据集中,积极的情感自我表露对获得情感支持的影响的标志是相同的,但仅在后者中具有统计意义,因为与更大的对话样本相关的统计力量更强。这些结果表明,对话数据的机器编码可以带来比人类编码数据更大的价值。
为什么情感支持是间接要求的,而信息支持是直接要求的?对于更多地使用间接策略来寻求情感支持的一种解释是,如果一个人需要寻求支持,这种支持可能会被认为不那么有价值。情感支持的一个主要目标是表现出提供者对接受者的关心。仅仅注意到接受者需要支持并提供它本身就是关心的证据。因此,相对自发的情感支持可能会被视为比接受者明确要求的回应更有爱心。相反,信息或建议的价值是基于所提供信息的质量,而不是如何征求信息。如果明确要求,这些信息的质量不会降低。
一个相关的解释是基于人们在没有得到他们所寻求的支持时可能做出的因果归因。我们的数据显示,人们通常会得到他们所请求的支持类型,在寻求和接受信息支持之间存在中度相关性(
为什么人们会问明确的问题来获得信息支持,而更含蓄地要求情感支持,最后一个原因是,寻求信息支持的人可能比寻求情感支持的人更容易确定他们在寻找什么。信息支持寻求者想要关于治疗、药物、症状和日常生活问题的具体问题的答案。例如,在我们的文集中,他们想知道患有乳腺癌的人养猫是否危险,诊断出乳腺癌后抑郁会持续多久,谁是一个地方的好医生,或者乳房切除后是否要做重建手术。这些人知道他们在寻求什么样的信息或建议,因此可以直接询问。然而,寻求情感支持的人可能不确定他们到底想要什么样的回应。在寻求情感支持时,人们会使用诸如“我很害怕化疗的副作用,我很担心它会对我产生什么影响”或“我的朋友刚刚被诊断出患有乳腺癌,她甚至还不到32岁”或“对我所拥有的感到恐惧”之类的话。放射治疗8个月后,我的肋骨一侧出现了奇怪的肿胀。”尽管这些人可能对安慰、保证或社会比较有强烈的需求,但他们可能无法清楚地表达出能够缓解他们痛苦的支持形式。因此,他们可能会透露自己内心的动荡或生活中的负面事件,但却无法要求特定类型的支持,因为他们不知道该要求什么。相反,他们把它留给社区的其他成员来诊断他们的需求并做出适当的反应。
虽然研究的第2部分使用了大数据样本的机器学习方法,用小样本复制和扩展了第1部分的发现,但研究的第3部分通过解决一个小样本无法实际回答的研究问题,即获得支持如何预测群体成员随后在群体中的参与,展示了自动编码的价值。在此,我们简要总结了之前发表的一项研究,在该研究中,第2部分中描述的情感和信息支持的自动化测量被用于预测参与者在乳腺癌支持社区的参与时间(生存时间)[
参与时间长短是一个重要的研究课题,因为它影响个体成员的结果以及整个团队的成功。人们在在线支持社区呆的时间越长,就越有可能得到它提供的任何好处。此外,留在组中的成员是其他成员的资源。他们分享信息,提供帮助,与他人建立社会关系,随着时间的推移,从寻求者转变为提供者。
我们应用生存分析来检验这样一个假设:那些获得更多支持的人在支持社区中停留的时间更长,控制了他们收到的非支持性交流。生存分析是一种统计技术,用于调查对时间相关结果的影响,例如事件是否发生以及何时发生。在这项研究中,感兴趣的事件是一个成员离开社区的时间(或者相反,这个人继续参与的时间长度)。该分析通过情感和信息支持以及其他控制变量来预测参与支持社区的时长。因为在大多数在线群体中,成员在群体任期的早期离开的概率要比后期高得多,我们使用时变自变量的参数回归生存分析,假设生存时间为威布尔分布。分析使用Stata版本13 (StataCorp LP, College Station, TX, USA)对每个参与者有多条记录的参数回归生存时间模型进行streg最大似然估计。
我们收集的数据不包含人们阅读了哪些消息,只包含他们发布的消息。为了估计人们接触到的支持的数量,我们假设人们在他们发布的一周内阅读了他们发布的线程中的所有消息。因此,生存分析仅限于30301名至少发布了一条消息的人,因为没有公开的行为,就不可能估计他们查看的支持数量。有了这么大的数据量——大约30,000名成员暴露在大约50万条消息中——手动编码所有帖子是不现实的。因此,我们对暴露的测量是基于第2部分中描述的情绪和信息支持的机器编码测量。
我们将每个成员的第一篇帖子的时间戳作为参与乳腺癌讨论论坛的开始日期。此外,我们假设参与者如果在上次发帖后的12周内没有再次发帖,就会离开社区。根据这些标准,用户可以退出群组并多次重新加入。如果我们假设人们只离开小组一次,随后报告的结果是相同的。因为那些在数据收集结束后12周内发表最后一篇文章的人可能仍在参与,我们将他们视为正确的审查。
生存分析结果。
预测变量 | 风险比 | SE |
|
有个人资料 | 0.511 | 0.010 | <措施 |
%线程启动器 | 0.853 | 0.010 | <措施 |
计数后暴露 | 0.343 | 0.012 | <措施 |
情感支持暴露 | 0.665 | 0.008 | <措施 |
信息支持暴露 | 1.048 | 0.012 | <措施 |
计数曝光×情感支持曝光 | 0.493 | 0.011 | <措施 |
后计数曝光×信息支持曝光 | 0.953 | 0.020 | 02 |
在解释风险比时,比较由没有档案的成员组成,他们接触到包含平均水平的情感和信息支持的平均数量的消息。有档案的风险比值为0.51,意味着有档案的成员继续参与的可能性比没有档案的成员高49%(100% -[100%*0.51])。一周内开启更多话题的人继续参与的可能性比那些只回复别人帖子的人高15%。
事后计数暴露的风险比表明,当所有其他变量都处于平均水平时,看到的信息比平均值多一个标准差的人的存活率要高66%。那些接触到平均数量包含平均标准偏差的情感支持的人,留在小组的可能性高出33%。相比之下,那些接触到包含平均数量的消息的人,他们有5%的可能性离开小组。信息数量与支持类型之间的交互作用表明,当人们接触到更多的信息时,情感支持和信息支持的差异效应更大。那些接触到标准差信息越多,情感支持越多的人留在小组的可能性增加了50%,而那些接触到标准差信息越多,情感支持越多的人离开小组的可能性增加了5%。接触到更多信息和更多情感支持的信息的影响是非常强大的。例如,基于生存分析中的
不同岗位数量和社会支持类型成员的生存曲线。注意:尽管获得更多的信息支持与较低的站点寿命可靠地相关,但影响很小,并且无法从视觉上区分代表高信息支持的线与代表平均信息支持的线。
对于为什么情感支持与留在团队有关,而信息支持与离开团队有关,有几种似乎合理的解释。也许很多信息需求都是短期的。因此,有信息需求并从他人那里获得信息的人,这些即时需求得到了满足,几乎没有理由再返回,就像一个人在查完定义后可能不会继续阅读字典一样。另一方面,情感支持的需求可能是长期的,需要多种互动才能满足。另一种可能是,寻求情感支持的人本身更善于社交,更倾向于欣赏社区提供的鼓励和社会比较,而寻求信息的人则不是这样。最后,在无节制的健康支持社区中交换的事实信息可能缺乏来自经过审查的来源(如医生或美国癌症协会运营的网站)的信息的准确性、可信度和实用性。出于这个原因,接受信息支持的人可能会因为他们对所获得的信息的负面评价而离开。相比之下,在社区中获得的情感支持可能被认为更有价值,因为来自网站上类似其他人的社会比较、同理心和鼓励在群体之外是无法复制的。
网络支持社区中的社会支持交换是人们主动寻求并获得支持的动态交流过程。这项研究表明,在癌症支持社区中,不同的对话动作与获得情感和信息支持有关。当人们自我揭露他们的经历,尤其是消极的经历,当他们报告消极的想法和感受时,其他人会为他们提供情感支持。相反,当人们问问题,谈论生活中消极而非积极的事件时,其他人会为他们提供信息支持。此外,人们得到的支持与他们在支持社区中的持续参与有关。在接触到更多的信息和更高的情感支持后,他们更有可能继续参与,但在接触到更高的信息支持后,他们更有可能离开。
除了这些实质性的结果,我们的研究还证明了在线对话自动编码的价值。大多数支持性社区的交流研究都是基于手工编码相对较小的对话样本。在第2部分中,使用机器学习技术,我们能够在很大程度上复制基于人类编码的发现,并发现了不足的人类编码研究没有发现的关系。此外,第3部分使用自动化编码进行分析,这将是不可行的人工编码;也就是说,研究在10年期间接触50多万条消息与3万多参与者对在线支持社区的承诺之间的关系。
我们还概述了如何使用现代机器学习和语言分析技术来更好地理解在线健康支持社区和其他在线社区中的交互。尽管之前的研究人员已经表明,在在线支持社区中自动化一些对话的文本分析,并产生部分反映人类编码结果的机器编码结果是可行的,但大多数人未能提供足够多的方法细节,让持怀疑态度的研究人员能够挑战他们所做的假设或复制他们的工作。为了纠正文献中的这一缺陷,我们提供了大量关于机器学习模型的信息,这些模型旨在自动识别乳腺癌论坛中的自我表露、提问以及情感和信息支持。我们预测社会支持概念的模型的表现表明,使用计算机程序自动分析在线支持社区中的对话是可行的。特别是,我们认为,我们使用的特征集可以有效地应用于使用其他健康支持数据集构建社会支持预测模型。LIWC和语言特性可以直接应用,因为它们是通用的,不适合任何特定的领域。当研究人员将这些方法应用于另一个健康领域时,他们需要做的主要工作是根据感兴趣的数据重新创建定制的LDA主题词典。现在有很多工具可以对语料库进行LDA分析[
当前研究的一些局限性值得注意。关于自动编码,一些结构的准确性,特别是自我披露措施,低于预期,从而削弱了效应量。虽然可以调整衰减的效应大小估计[
此外,尽管我们目前的分析基于66个论坛的大量数据,但我们只在一个在线健康支持网站上检查了一种疾病(乳腺癌)。其他在线健康支持社区可能会产生不同的模式。例如,在前列腺癌支持社区中,自我表露对情感支持提供的积极影响可能是不同的,因为男性不太可能谈论他们的想法和感受,当他们自我表露时,他们的行为可能更引人注目。进一步研究其他在线支持社区可以帮助我们更好地理解和确认我们的发现。
最后,尽管我们的研究结果表明,人们使用不同的语言策略来获得信息和情感社会支持,并且暴露于信息和情感社会支持对承诺有不同的影响,但我们的分析是相关的。我们知道,请求尝试先于提供支持,而获得支持先于决定离开或留在小组,但我们既没有证明,我们标记为支持诱导的消息实际上是在请求支持,我们标记为提供支持的消息实际上是这样做的,也没有证明,线程启动消息或回复中的语言实际上会导致其他人采取不同的行动。需要实验室或现场实验来操纵支持语言,以测试我们观察到的相关关系是否代表因果关系。
虽然目前的研究使用了支持语言的自动编码来更好地理解健康支持社区中的对话动态,但这些相同的技术可以用于改善这些社区的运作方式。使用在线社交网站(如Facebook)中常见的过滤技术,有可能增加寻求支持的信息被能够提供这些信息的人看到的可能性。例如,使用我们描述的自动分类程序,可以自动识别正在寻求某种类型的支持,但在超过80%的消息收到回复的24小时窗口内没有收到支持的消息。然后,这些消息可以通过电子邮件发送给社区中最近活跃并在过去回复过类似消息的其他人。
比较拟合指数
人类智能任务
风险比
潜在狄利克雷分配
语言探究与字数统计
词性
近似的均方根误差
本研究由美国国家科学基金IIS-0968485资助。我们要感谢Dong Nguyen为这个项目提供的数据。Carolyn Rosé为我们的研究和写作提供了宝贵的反馈。
没有宣布。