在这项观察性研究中，我们使用Web爬虫的自定义实现从一个在线健康论坛提取内容，目的是从一个在线健康论坛收集一个大型讨论数据库。此外，我们使用信息检索算法(专门为这一特定任务设计和实现)来识别处理CCSVI的帖子的综合样本。

该研究的数据库包括发表在德国多发性硬化症协会(DMSG，德国多发性硬化症协会)在线论坛上的文章[ 25］．在其网站上，DMSG将自己描述为MS患者及其家庭的非营利性利益相关者，由MS临床和科学专家于1952年成立。它是一个注册的慈善机构，有16个地区分支机构和900多个社区联系小组。除此之外，DMSG在其网站上提供了两种不同类型的免费论坛:一个是专家论坛，专家和用户之间就不同问题进行限时聊天(例如，MS的认知缺陷或MS的怀孕)。另一个论坛是非结构化的，没有管理，并且开放匿名注册。它的目标受众是外行，主要是多发性硬化症患者。论坛由一系列帖子组成。这些帖子可以包含超链接，并可以引用任何数量的以前的帖子。这篇文章的截图显示在 图1．

在2008年1月1日至2012年8月17日期间，从11,997个线程中抽取了139,912个帖子。因为论坛一般是关于MS的，所以只有一小部分提取的帖子是关于CCSVI的。初步分析表明，“一个话题讨论一个话题”的假设在所观察的论坛中并不成立。相反，随着时间的推移，用户倾向于偏离最初的主题。因此，开发了一种自定义的信息检索算法，将单个帖子分类为相关(“至少部分讨论CCSVI”)或不相关。关于算法设计、训练和评估的详细信息，请参见 多媒体附件1．该算法确定了8628个相关职位，这对进一步的分析步骤产生了重要的区别。

由于“专家患者”一词意味着对科学信息的智能使用，我们旨在评估论坛中对科学来源的使用程度。用户偶尔会在他们的帖子中加入超链接，这些链接指的是用户基于他们的观点的内容。我们分析了这些链接中哪些被定义为科学论文的引用，以获得被引用论文类型和时间引用模式的概述。这一鉴定过程需要两个步骤。

首先，我们生成了一份大概详尽的涉及CCSVI的出版物列表。从Zamboni的原始出版物开始，使用CiteXplore Web服务构建了一个引用网络[ 33］．CiteXplore是PubMed搜索引擎的一个接口，使用它是因为引文易于访问。这些出版物随后与通过Entrez接口在PubMed数据库中搜索“CCSVI”获得的第二个列表合并。 34］．合并算法删除了由它们的midd标识号标识的重复发布。我们最终的出版物列表不包括涉及CCSVI但不包括CCSVI首字母缩写的出版物，或者没有出现在引文网络中。我们假设这个数量的出版物比较少，并且比起手工方法，我们更喜欢我们的方法。

其次，一个程序从语料库中获取每个超链接(也包括那些“无关”帖子中的超链接)，从引用的网页或PDF文档中提取文本内容，并从出版物列表中搜索标题或出版物id。在命中的情况下，其中一名作者核实是否确实引用了其中一份出版物，如果是，则是哪一份。每个匹配也被分为直接参考或间接参考。在这方面，间接参考资料被视为仅讨论或解释某一出版物的资源，不包括基于该出版物的其他工作。链接到出版物本身的直接引用。

除了在帖子中搜索科学信息来源外，我们还努力确定帖子中使用或引用的其他信息来源。为了获得广泛的参考网站的概述，我们定义了一个分类方案。首先，我们将压缩后的语料库中找到的每个URL缩减为URL的基本域部分(即，只使用“domainname.com”—如果URL在域名之后包含额外的内容，如目录、文件夹、网页、文件扩展名，则该内容将从URL中删除)。其次，我们将剩余的域分为8个类，如 表1．这些类是根据各自域中提供的内容类型和作者身份定义的。然后生成一个图表，显示每个班级每月发布的url数量。

为了描述用户行为，我们尝试识别不同的行为模式。由于事先对论坛用户的行为模式一无所知，我们采用了探索性数据分析的方法来揭示可能的模式。聚类算法根据用户的相似度根据一组预定义的特征对用户进行分组。因此，我们想定义两个独立的特征集，目的是描述用户行为的两个不同方面，并通过聚类揭示这些特征中的模式。我们雇佣了最受欢迎的 k-means聚类算法(最初提出于[ 36])，根据用户在欧氏超空间中彼此的接近程度，将表示用户的数据向量分组在一起。该算法的选择是由于它的简单性和广泛的应用。因此，一个集群内的用户被认为表现出类似的行为模式，与其他集群中普遍存在的模式不同。我们根据手动检查描述性集群统计信息定义了用户集群名称。

通过单独的聚类，我们特别详细地分析了两个行为方面:(1)对所讨论信息来源的偏好，以及(2)一般的贡献行为或发帖习惯。在第一个集群中，我们主要关注8个域类中的每个类的超链接。用户由8维空间中的向量表示:例如，值3表示2^nd维度意味着用户已经发布了3个来自域类“组织”的超链接。第二个聚类集中在9个定量特征上，描述了用户发布的内容和方式。特征(度量)要么取自文献中讨论的类似方法[ 37或者根据以前没有使用过的元数据定义。具体来说，文献没有使用基于主题和主题之外的谈话之间的区别的度量，也没有使用可能有深刻见解的元数据，如超链接或引用。特性及其背后的原因描述在 表2．所有这些都是在整个贡献期内定义的。

在这两种情况下， k-means聚类算法采用自定义形式实现。我们采用启发式初始化步骤来补偿初始质心放置不良的不利影响。当不再更改集群成员时，集群终止。所采用的算法请参见 多媒体附件2．

在第一个聚类中，我们必须补偿用户的不同一般活动水平，因为我们只想根据用户的信息源偏好对用户进行分组。我们将每个向量除以它的欧几里得范数，以获得只显示“品味”(偏好)而不显示“活动”的单位向量。在第二次聚类中，不同特征具有不同的尺度。例如，用户经常显示几百天的活动，但根据定义，他们启动的线程的比例不能超过1。因此，我们执行了 z-score对第二次聚类前的数据进行归一化。这意味着我们修改每个用户向量的每个特征值，如下所示。首先，我们减去特征均值(对所有用户)，然后除以特征标准差。的 k-means算法要求簇数( k)已预先指定。初步实验用不同的值 k显示, k=6在这两种情况下都是一个很好的选择，通过人工检查内部集群评估指标和最终的集群大小来判断。

我们在雷达图中可视化了产生的星团[ 38]，也被称为蜘蛛图或kiviat图。雷达图的每个特征都有一个“辐条”;辐条的数据长度与数据点的变量大小成正比，相对于所有数据点上变量的最大大小，因此可以显示和比较具有任意数量变量的多变量观测结果。星形图形表示一个集群成员之间的标准化特征均值。虽然很难从视觉上比较不同辐条的长度，但可以很容易地捕捉到集群之间的显著差异和共同点，因此不同集群的特征很容易进行比较。我们根据对雷达图的人工评估和对的表格为这些簇命名 多媒体．这些名称的定义是基于给定集群中哪些特征值“突出”。

我们在31个帖子中发现了指向ccsvi相关科学出版物的超链接。 多媒体附件4给出论坛用户引用的13种不同出版物。每个出版物都显示在一个单独的区域中，其中红星表示出版日期，绿色菱形表示发布出版物链接的日期。浅绿色菱形表示间接引用。有趣的是，Zamboni的原始出版物[ 17在发表后不迟于两个月被带到论坛，并被反复引用，通常是间接引用。另外4篇支持CCSVI假说的论文[ 40- 432010年9月被引用。出版物的位置是人工确定的。仅从引用的科学出版物来看，忽略文章内容和其他参考文献，从2009年7月到2010年9月这段时间可以被描述为论坛CCSVI假说的“繁荣阶段”。然而，在2010年9月之后，批评性的出版物出现并被带到论坛。事实上，除一份参考刊物外，其余均在2010年9月以后出版[ 44- 50)强烈反对CCSVI。在这个时候，一系列重复引用Zamboni的原始出版物停止了。

图2显示每个域类每个月有多少超链接被发布，按整体域类流行度排序。在任何给定的时间点上，社交媒体网站都是使用最广泛的Web资源类型。与被引用的科学出版物数量较少类似，基于科学的资源通常不经常使用。大约有一半来自域类“scientific”的超链接指向维基百科的文章。与组织相关的网站和新闻网站是第二和第三重要的网站。

每月发表的参考文献总数的巨大差异大致与相关文章总数相关。有趣的是，最高点(2010年9月- 2010年11月)出现在上述相位转移的时候。引起其他重大波动的外部事件尚不清楚。但是，当发布的引用总数从一个给定时间点上升到另一个时间点时，更改通常反映在所有域类中，这表明外部事件的某种响应同样影响不同类型的资源。这张图还显示了这个话题在非专业人士论坛上迅速流行起来的速度，从2012年发布的一些参考文献可以看出，用户似乎已经对这场辩论失去了兴趣。

我们只在集群中包含了一小部分用户，因为我们希望关注那些参与CCSVI讨论的用户。此外，还需要关于每个用户的足够数量的信息。因此，在使用超链接的情况下(第一次聚类)，我们只对发布了至少5个相关超链接的用户进行聚类。在发布习惯(第二次聚类)的情况下，我们只包括至少发布了5个相关帖子的用户。中滤波过程如图所示 图3的结果集所示 图4．活跃到足以进行有意义分析的用户比例相当低，这是在线社区的典型情况。近三分之二的DMSG论坛用户只发帖一次。

第一次将用户聚类为6组显示的聚类如图所示 图5．大约一半的用户(29/64)可以被描述为社交媒体粉丝。 图6显示每个集群成员首选的信息源。例如，社交媒体粉丝更喜欢视频分享网站(如YouTube.com)、Facebook页面和博客，而不是更传统的来源。用户同样经常引用不同类别的资源，包括科学资源。组织关注者主要指组织发布的内容;我们还确定了一个使用不适合分类方案的资源的小组。主页推动者发布链接到网站，其中包含由单个人撰写的静态内容。这些传统网站在互联网早期就已经存在了。寻求医疗保健的人讨论医生和诊所。不常见资源的用户集中在宗教、秘教、补充或替代医学，或不相关的资源。

聚类用户，谁发表了至少5个相关帖子，显示6组显示 图7．中的对应表中手动派生集群名称，而没有预先指定的算法 多媒体从 图8，表示归一化到[0;1]范围内的特征均值。大约三分之二的用户只能用“一般”来形容。这意味着它们并不突出，但是这些用户的特征为与其他用户角色进行比较提供了基准。28名用户是ccsvi重点响应者，他们平均活跃时间不到一年。定义它们的是每天帖子的低水平，启动线程的低比例，以及与ccsvi相关的帖子的高比例。10个用户是高度活跃的关系海报，他们表现出最高水平的发帖活动(每天大约4个帖子)。他们在很多不同的话题上发帖，但很少主动发起。另外17个用户是CCSVI激活者，他们因其较高的启动线程比例、与CCSVI相关的帖子比例以及他们包含的引用数量是平均用户的3倍而脱颖而出。众所周知，这4位资深贡献者的帖子长度是普通用户的3倍，引用量是普通用户的5倍。剩下的4个短暂的CCSVI垃圾邮件制造者只活跃了几天，在他们短暂的贡献期内，创建了许多关于CCSVI的帖子。 The posts were short and included few references.

大部分观察到的贡献都不是基于科学结果，而是基于各种社交媒体来源。这些来源似乎主要包含观点和个人经历。一小群具有不同行为模式的人在推动关于CCSVI的讨论中发挥了核心作用，这是由他们的行为确定的。这群人的识别是我们探索性分析技术的意外结果。我们的识别方法是行为驱动的，因此为论坛中基于影响力的所谓“意见领袖”识别提供了一种可行的替代方案，如[ 51- 54］．

科学出版物在CCSVI讨论的“繁荣阶段”被带到论坛，随后是批评观点的阶段，从2010年9月开始，CCSVI假设的反对者在论坛中占了上风。虽然科学和非专业人士的话语似乎是齐头并进的，但很明显，科学出版物和科学来源，如维基百科，最终在非专业人士论坛中只扮演了一个次要的角色。相反，社交媒体是最重要的信息来源。社交媒体内容的性质各不相同，但我们认为社交媒体通常是关于个人经历和意见交流的。我们确定的参考使用模式(如社交媒体粉丝或主页推广者)进一步说明了这一点。我们建议将这种外行话语的性质更多地描述为基本话语或话语间话语[ 55而不是专门的或科学的论述。

我们的6组发帖行为是基于对不同特征的仔细考察，与5个自残网络论坛的参与者相似[ 32］．以ccsvi为重点的响应者，其特点是每天的帖子水平较低，启动线程的比例较低，与ccsvi相关的帖子的比例较高，可能与Here For You用户相比[ 32)，他在自残论坛上非常支持。开始( 32]可能会与我们的CCSVI激活者相比，后者因其高比例的启动线程、高比例的CCSVI相关帖子以及他们的介绍和引用而脱颖而出。与Jones等人相比，高度活跃的关系发帖者，他们非常积极地发布帖子，但很少发起帖子。 32看护人。短命的CCSVI垃圾邮件制造者让我们想起Jones等人[ 32蝴蝶。这4个复杂的贡献者让我们想起了研究人员和在线专家患者群体的出现[ 12］．大部分贡献者只能被归为“一般”。

只有一小部分用户表现出足够的活跃度，适合对他们的行为进行有意义的描述。这与普遍观察到的社交媒体参与不平等现象是一致的。通常情况下，活跃程度以幂次定律为特征，约1%的用户对社区具有核心影响力[ 56］．例如，Chomutare等人研究了在线糖尿病论坛的社区结构[ 57]发现非常低的用户参与率，并表明少数积极参与的用户水平很高。大约37%(63/171)参与CCSVI讨论的用户在他们的发帖行为中表现出不同的模式:28个以CCSVI为重点的响应者似乎在等待CCSVI讨论的出现，然后进行贡献。这样做，他们在ccsvi相关信息传播的后期效率是所有角色中最高的。这似乎是一个有趣的新方面，通常执行网络分析在在线论坛。在这些分析中，这种疾病的知识和个人经验在获得中心地位和成为权威方面发挥了重要作用[ 57， 58］．显然，对科学信息来源的良好掌握可能也是一群有影响力的人物的特征之一。

高度活跃的人际关系海报被认为是重要的社区建设者，因为大量的个人“闲聊”都归功于他们。有趣的是，一组17人的CCSVI激活者在推动关于CCSVI的讨论中发挥了核心作用，因为他们经常发起关于CCSVI的讨论，并包含许多超链接。尽管人们相当担心，社交媒体和互联网应用程序允许少数人传播错误信息，并破坏有益的互动，正如最近讨论的反疫苗接种主义案例[ 59]，我们的研究结果表明，微软论坛中的CCSVI讨论遵循了科学辩论的起伏，并没有促进危险的实践或阻止新技术达到危险的程度。

我们发现了一些资深贡献者，但这些人并不经常参与CCSVI的讨论。此外，还发现了4个非常短命的、以ccsvi为重点的账户。一种可能的解释是，它们是一些用户临时使用的替代账户。

这项研究的一个主要优势是它的观察性质。以一种不引人注目的方式观察真实世界的数据。我们分析了一个公共互联网论坛，这是一个非结构化和无节制的，超过3年的CCSVI讨论期。因此，我们避免了自我报告的偏见和人为设置。此外，我们应用了机器学习方法，以阐明用户交互的复杂本质。

然而，有几个限制。没有论坛用户的人口统计数据，甚至有可能有些人使用了不同的账户。此外，在2010年8月27日之前，用户可以为每一份个人贡献自由选择他们的别名。由于缺乏登录机制，有可能不同的人在同一个名字下发布。

相关内容的识别不是微不足道的，并没有100%的准确性，这导致数据库可能存在偏见。将url减少到基本域是一种简化。在评估用户模式时，我们必须处理小样本量(N=64和N=171)。聚类方法本身依赖于几个假设。我们假设恒定的行为模式存在，我们定义了适当的特征来描述它们，并且它们在特征空间中是线性可分的。对指定角色的解释是主观的，但仅基于本研究中记录的定量数据。

我们必须决定如何在帖子中确定科学的信息来源。为了安全起见，我们只接受发布带有科学出版物链接的url作为科学出版物的使用。当然，其他用户可能以一种相当精心的方式讨论科学出版物，而没有发布url。此外，出版物通常隐藏在付费墙后面，这可能会使发布url不受欢迎。它们也是用英语写的，这可能会造成语言障碍。我们的方法低估了在线健康论坛中对科学出版物的讨论，但在确定科学出版物的介绍方面非常具体。

我们对在线健康论坛参与者的描述完全基于“指标”，类似于Jones等人的研究[ 32］．要全面而可靠地描述与会者的观点，就需要对他们的贡献进行详尽的语义分析。

在帖子和论坛讨论中，科学来源远不如社交媒体重要。虽然一些未发现的证据可能表明，科学结果在一个在线健康论坛中成功地传播到非专业人士的讨论中，但科学结果在所研究的特定论坛中所讨论的信息源中所占的比例非常小。这是否预示着“专家病人”的崛起，仍有待进一步研究。论坛上的一些参与者，尤其是资深贡献者，根据他们的贡献行为和整体行为的性质，可以被认为是专家，他们的帖子相当广泛，通常包括科学和其他参考文献。然而，他们也只代表了一小部分，在我们得出可靠的结论之前，我们需要对他们的陈述进行语义分析。相比之下，大多数用户倾向于依赖基于社交媒体的信息来源，这些信息通常包含个人经历和观点。

卫生保健系统可以被描述为一个双边网络:一个由通过多个平台相互连接的大型组件组成的网络，这样临床医生、卫生保健机构和公司就可以与患者和社区互动[ 12］．我们在研究这个网络的一个组成部分以及它如何受到另一个网络的影响的同时，还应该进一步研究这个双面网络的组成部分之间的相反方向和相互影响。

我们的研究使用了一些复杂的方法来提取在线论坛中发帖行为的信息，以解决这一领域的重要问题。为了消除该研究的一些局限性，并更准确地确定论坛贡献者在科学信息方面的作用和行为，需要一种定性方法，最好是对在线健康论坛中的社会交流过程和辩论策略进行话语分析，类似于加拿大对赌博者在线社会支持论坛的研究，其中参与者的互动，他们的共同讨论，并分析了他们如何构建身份和协商合法性[ 60］．由于技术的发展，我们正处于一场变革之中，在这样一种环境中，个人和社区对自己的健康和治疗变得更有能力和更负责任，医疗保健服务和教育可以越来越多地受益于使用网络。 61］．