从学术社会网络活动中提取的替代指标的相关性和交互可视化:维度和结构

介绍

评估学术论文的影响力对科学家和学术管理机制都很重要[1]。科学论文被科学界视为科学实验中最新发现和创新思想的正式载体[2]。官方期刊被认为是科学交流的主要媒介[3.]。论文被引率和科学期刊影响因子被用作衡量学术影响的评价指标[4，5]。

影响因子是基于期刊，而不是期刊文章。一种指标(例如，引用计数)不太可能充分地为跨学科、部门、职业阶段和工作类型的评估提供信息。此外，一篇新发表的文章需要时间来积累引用——引用延迟可能从3个月到1-2年不等，在正式出版物中有时更长。相比之下，只需要几天的时间就可以将科学社交网络中浏览、下载、标签、挖掘、tweet和博客的统计数据制成表格。

合理的评估不仅应该包括定量评估，还应该包括同行评审过程。传统的同行评议过程因其可扩展性而受到批评，也就是说，在有限的审稿人数量和出版时间限制下，无法应对越来越多的科学论文提交。

随着开放存取平台的发展[6，7]以及学术社交网络的实际应用[8，9，科学成就现在能够更迅速地传播，10-13]。鉴于这些新的发展，开放获取平台、社交网络工具和其他基于在线使用和评论的统计数据为新形式的科学评估铺平了道路，这些评估可以补充传统的指标，如引用率和影响因子。

因此，研究人员和出版商正在探索文章级别的指标，不仅包括引用率，还包括潜在的提取指标，如页面浏览量、下载、点击、注释、推荐、标签、发布、跟踪和评论。14-17]。通过使用这些多维指标，我们的目标是拓宽科研人员在科学计量学领域的视野，并为同行评议提供丰富的可测量元数据。例如，Priem和Costello [18研究发现，Twitter上的引用比传统的引用生成速度要快得多，其中40%的引用发生在被引用资源发布后的一周内。本文将这些新指标称为“替代指标”。与传统指标相比，它们在覆盖范围、效率和可扩展性方面具有优势。

鉴于altmetrics的优势，许多作者呼吁对其进行进一步的评估。尼龙和吴[14]指出了衡量影响的传统方法的不令人满意的结果，他们断言，需要对科学文献的质量、重要性和相关性进行良好的过滤。Taraborelli [19[]表明，协作聚合元数据可能有助于缩小传统的基于引用的指标和基于使用的科学评估指标之间的差距。他还提出，社交软件可以用来提取大规模的科学质量指标。Priem和Hemminger [3.]也同样指出，基于引用的方法很难评估和过滤文章，并认为对Web 2.0服务中文章使用情况的检查是新颖而有前途的。他们开发了最全面的Web 2.0工具列表，并评估了数据的潜在价值和可用性。成长与格尼[20.]使用关键词和引文相似度图来分析化学博客文章与学术文献的差异。韦勒和普什曼[21对推特上的科学推文进行分类，并设计了一种识别和衡量引用的方法。

替代指标是否与传统指标相关?一些研究人员研究了这个问题，并提供了证据表明替代指标和传统指标显著相关。例如，Yan和Gerstein [16]研究了18种不同指标之间的相关性，包括文章使用量(HTML视图、PDF下载、XML下载)、引用统计、博客覆盖率、社交书签和PLOS文章级别指标中的在线评级。他们观察到，引用次数与获取统计数据(r=.44)，与PDF下载次数(r=的相关性)。此外，Priem等[17]研究了19种替代指标之间的相关性，并得出结论:学术书签服务Mendeley (r=.26)及CiteULike (r=.16)与引用相关，而像Delicious这样的服务则没有。Li等[22]调查了1613篇期刊论文，研究了两种在线参考管理器(Mendeley和CiteULike)与两种引用类型(WoS和Google Scholar)之间的相关性。他们的研究结果表明，Mendeley的用户数量与WoS的引用显著相关，Mendeley比CiteULike吸引了更多的用户。Eysenbach [23]选取文章发表后7天的累计推文数(即一条推文中的一次引用)作为推文数，计算引用数与推文数的相关性。引用数与推文数的Pearson相关系数在5%的水平上具有统计学意义，范围从0.57到0.89。此外，Google Scholar的引用与tweet的相关性比Scopus的引用更强。

综上所述，以往的研究都集中在证明替代指标的性能以及传统指标与替代指标之间的相关性。然而，重要的问题，如维度和结构的替代计量尚未探讨。换句话说，总体配置不清楚，需要进一步验证。例如，替代指标应该分为多少个维度?交互结构是怎样的?在这些问题的推动下，我们试图探讨传统指标和替代指标之间的异同。我们将在社交网络环境中可视化地表示交互结构。

对于我们的研究，在进行替代计量研究之前，确保替代计量指标具有样本的开放性和可操作性是至关重要的。撰写、阅读和发布文章的出版商平台，如JMIR、PLOS，以及分享、推荐、讨论和评级文章的社交网络，如Twitter、CiteULike、博客或Mendeley，通过标准化的应用程序编程接口(api)提供数据，允许作者、编辑和学术管理部门在特定时间为特定用途选择最有意义的数据。因此，这些个人可以以一种即时、开放和个性化的方式展示更广泛的文章影响。

文章级指标代表了一套全面的影响指标，包括使用率、引用、社会书签和传播活动、媒体和博客覆盖率、讨论活动和评级。文章级度量的API是免费和公开的。超过150名开发人员下载了用于数据重用的API，以确定文章的总体影响。因此，我们认为这些数据为我们的研究提供了一个很好的样本。

在测试的选择上，我们考虑了研究者提出的选项，例如相关系数矩阵的渐变颜色[16，17]以及Priem用于数据集的数据转换的方法[17]。然而，由于Kaiser-Meyer-Olkin (KMO)较低(KMO=0.45)，我们没有采用因子分析来揭示替代指标的聚类。相反，我们探索了一种非度量多维尺度(MDS)方法来揭示非参数测试后可选度量的维度;据推测，多维替代度量之间存在社会网络关系，因此我们使用社会网络分析来映射替代度量之间的相互作用。

方法

我们于2011年12月14日从PLOS API网站下载了一个“文章级指标”数据集(具体来说，是33,128篇学术文章的样本)。该数据集包括许多指标的数据，例如，文章使用计数，引用率和其他类型的指标(例如，社交书签，评论，笔记，博客文章和评级)。我们注意到，替代变量的值在尺寸上差异太大，因此在计算值之间的距离时，导致绝对值较小，权重较小。因此，对变量进行无因次处理，采用“均值为1”的算法，使原始变量的系数保持不变[24]。

首先，我们绘制了一个直方图来大致辨别数据是否遵循正态分布。在正态分布中，直方图的两个“一半”表现为彼此的镜像[25]。在偏态分布中，分布的一条尾巴相对于另一条尾巴通常可能相当长或拉长。例如，在“右偏”分布中，尾部在右侧[26，27]。许多统计检验都是基于数据从正态分布中抽样的假设。然而，当变量歪斜(非正态)时，非参数检验是合适的[28]。在本文中，我们还进行了一个单样本Kolmogorov-Smirnov (K-S)检验(一种非参数检验)。

其次，相关性，用相关系数表示，衡量两个变量之间线性关系的强度和方向[29]。对于异常分布，使用Spearman秩相关比使用Pearson相关更可取。检查系数数表是不切实际的，因为20x20的矩阵很大，所以图形可视化工具是合适的。人们提出了各种方法，从热图到相关椭圆[30.]。我们使用R编程语言中的Corrplot包生成的彩色图形来可视化相关矩阵。

第三，MDS可以生成数据中没有直接显示的主观维度的视觉表示[31]。这种方法在生物信息学中有许多应用[32，33]和生态科学[34-36]。通过非度量MDS分析，我们发现项目-项目矩阵的相似性、项目之间的欧几里得距离和每个项目在低维空间中的位置之间存在非参数单调关系[37]。我们利用软件包UCINET探索了一种非度量MDS分析方法，以确定具有较高相似度的变量类型。

第四，MDS图可以揭示变量之间的相似性，但不能揭示变量之间关系的强度和结构。在网络环境中可视化关联矩阵是有用的。研究人员根据社会网络由节点和纽带组成的理论来观察社会关系。节点表示网络中的个体行为者，纽带表示变量与个体之间的关系[38]。我们使用NetDraw(一个社会网络分析软件包)来可视化变量的相互作用及其强度。我们还旨在确定互连网络中变量的相对重要性。社会网络图帮助我们区分集群的数量和相应的集群程度。

结果

右偏分布和帕累托原理

我们使用单样本K-S检验来确定替代变量是否为正态分布。一般来说，如果P <.05，则认为数据服从异常分布[39]。我们的结果表明P<措施for all variables; therefore, we rejected the normality assumption. One way to determine whether a variable is “significantly skewed” is comparing the numerical value for “skewness” with twice the standard error of skewness, including the range from minus twice to plus twice the standard error of skewness [40]。因为偏度值落在这个范围之外，我们得出结论，分布明显是非正态的，在这种情况下，是正偏的。表1显示了结果的整合，包括K-S检验、偏度和变量的峰度。表2列出B1至B20的图例。

我们还绘制了直方图，得到了一组偏斜直方图。因为变量B_我在整个测试过程中高度偏斜(偏度的平均值为1.267，峰度的平均值为2.033)，我们将其对数变换为变量D_我(剔除零后)以更清楚地显示其分布。图1总结了累积变量的频率分布D_我．右尾较长，分布的质量集中在图的左侧，从而根据尾部的方向确定了这20个直方图为右偏分布。我们推断偏度可能与变量的含义有关:文章中提到的相对活动的百分比不能小于零。

如下载和页面浏览量的直方图(从D到G)所示，数据有两个相对的峰值，它们遵循双峰分布，在外观上类似于双峰骆驼的背部。这种分布让人想起帕累托原则(或80-20规则)，即大约80%的结果来自20%的原因[41，42]。参考知识分散理论[43]，这种模式表明80%的下载量是由20%的文章产生的。

‎ 查看此图

Spearman相关系数及其在R中的可视化

我们进行了正态性检验，得出两个替代度量变量都不是正态分布的结论。我们使用Spearman秩序相关来检验替代计量指标之间的相关模式。表3和4给出了替代度量指标的Spearman秩相关系数的结果。

相关系数的取值范围为-1至1，-1或1表示关系完美[44]。B14和B15之间的斯皮尔曼是1。B14表示PLOS网站上的评分，B15表示文章的平均评分。因此，这种关系近似完美也就不足为奇了。在rho=1的另一对变量(B4和B7)中也观察到相似的相关性强度，这可能是因为HTML页面浏览量(用B4表示)在文章(用B7表示)的组合(HTML + PDF + XML)使用中所占的比例最大。

第二强相关性，rho=。899，我s between total HTML page views (expressed by B4) and total PDF downloads (expressed by B5), possibly because they are two aspects of article usage counts, and people choose view or download with approximately equivalent frequencies. The Spearman rho between B6 and B13 is –.25, so we can predict that as B6 (total XML downloads) increases, B13 (social bookmarking made by Connotea users) will decrease.

91.58%的变量对的Spearman系数在0.01水平上显著，其中一对变量(B9和B12)在0.05显著水平上相关。大约7.89%的变量对之间不存在相关关系。B9(由Bloglines索引的博客帖子)也与8个变量(即B13到B20)几乎没有关联，这可能意味着Blogline不受欢迎，没有被研究人员和公民科学家广泛使用。

如果我们假设在样本中观察到的关系准确地反映了抽取样本的实际人口中替代指标变量之间的关系，那么相关矩阵也会产生不正确的概率，标记为Sig(双尾)。我们发现91.58%的概率值< 0.001(该值四舍五入到三位数)，远低于传统的阈值P<。05，因此支持我们的假设。在预测方向(正)上存在一种关系(即系数不为0)，我们可以将结果推广到总体(P< . 05)。

为了清楚地显示不同度量之间的相关性，我们用渐变的颜色和蓝-白-红刻度来可视化相关系数矩阵。一个R编程包corrplot帮助将相关系数映射到指定的颜色方块。我们选择两个颜色系列来确定正相关系数和负相关系数。蓝色表示相关性约为1;红色接近-1;白色近似于0。为了节省空间，我们将相关系数乘以100，并将其添加到颜色相关矩阵中的正方形中。看到图2．

我们可以很容易地识别具有强相似性的集群，并找到可能的冗余指标。将该图谱与物理意义相匹配，可以发现:(1)将被引指标(B1、B2、B3)和下载指标(B4、B5、B6、B7)聚为两类，分别称为“被引指标类”和“下载指标类”;(2)将引文指标和下载指标组合成一个聚类，我们称之为“传统指标类”;(3)将一组指标(B14 ~ B20)连接成另一种聚类类型，称为“评级、注释和评论指标类”;(4)最后，作为一般规则，我们建议所有四种博客聚合服务都将记录不同的数据集，因此数据集需要比较和“重复删除”，以获得博客活动的完整图景(由这些服务记录)，所有三种引用服务也是如此。

‎ 查看此图

非度量MDS与UCINET和网络可视化与NetDraw

非度量MDS通常是首选，因为它倾向于提供更好的“拟合优度”(应力)统计，相应的，较低的应力(0=完美拟合)更好[45]。一般来说，低于0.1的压力水平被认为是优秀的，而高于0.2的压力水平被认为是不可接受的。因此，RSQ (r平方)值越高(1=完美拟合)越好，RSQ值超过0.6通常被认为是优秀[46]。我们使用UCINET 6进行非计量MDS。输出映射显示在图3．

信度值应力为0.00424，显著小于0.1，效度值RSQ为0.99998，大于0.60，拟合优度极佳。该地图绘制了每个变量，从而允许我们根据变量彼此的接近程度来检查相似性。我们标记了三个维度或类别，每个维度都包含一个潜在因素。

这三个集群及其解释如下。(1)第一个集群包含B1 ~ B7和B12。这个集群有8个点，它们之间的联系更加紧密。B4和B7占据大致相同的坐标。这个集群暗示了一个潜在因子1，我们称之为传统指标组，因为这个集群中8个指标中有7个是引用和下载指标。(2)第二个集群包含B10、B11、B14 ~ B20。这个集群有9个点，它们之间的联系更加紧密。B14和B15占据大致相同的坐标。这个集群暗示了一个潜在因子2，我们称它为trackback、评级、注释和评论指标组。(3)第三个集群包含B8、B9和B13。 This cluster has 3 spots, yet they are less interconnected, with more diverse networks. This cluster implicates a potential factor of 3, and we call it the blog and social bookmark metrics group.

我们知道MDS图可以表示节点之间的关系，而网络图可以描述社会结构。因此，我们使用NetDraw(版本2.084，随UCINET 6发布)从网络环境中可视化非度量MDS的结果。网络图如图所示图4．

一个好的图可以立即暗示整个网络结构的一些最重要的特征。该图显示了以下发现:(1)并非所有节点都是连接的，因为三个节点(B8, B9和B13)与其他节点断开连接;(2)两个参与者的子群体或局部“集群”相互联系，而不是与其他群体联系;(3)一些参与者有很多联系，而一些参与者有很少的联系。4个节点(B10、B16、B17、B19)出现2次平局，其他节点出现1次平局或0次平局。这些节点被两个集群嵌入到邻近区域中;也就是说，它们对于连接两个集群(我们称之为集群1和集群2)非常重要。因此，检查节点和“节点网络”(即“邻居”)表明了行为者面临的结构性约束和机会，并可能帮助我们理解行为者在社会结构中的角色。最后，它表明(4)多变量与其中心之间的关系强度仍然存在一些差异。例如，B12和B2与其中心的关系较弱，而B6和B20与其中心的关系较强(即“1.0”)，B17与其中心的关系最强(即“1.4”)。

‎ 查看此图

‎ 查看此图

讨论

主要研究结果

我们的研究是第一次使用MDS和网络图来分析其他度量变量之间的维度和相互作用。虽然MDS图已被用于共引[47]和共词分析[48]，为非度量变量绘制非度量MDS图仍然是一种创新。我们发现了三个维度或指标组，即传统指标(引用和下载指标)，活跃的替代指标(追踪、评级、注释和评论指标)和不活跃的替代指标(博客和社交书签指标)。

更重要的是，我们将MDS图转化为社会网络图，其优点是可以显示整体的网络结构。在与altmetrics相关的研究中，作者为发表在博客上的文章开发了共词社会网络地图[20.]。我们的地图表示社交网络上下文中的MDS图。我们发现，ResearchBlogging.org的帖子、留言线程和评论线程的回复是传统指标和主动替代指标之间的三个中介指标;换句话说，它们具有传统指标和主动替代指标的属性。

这些发现意味着什么?学术文章的社会影响可能存在转移现象。然后,图4可以看作是文章影响传递的映射。在影响传递路径上，B10、B16、B17和B19是在主动替代指标和传统指标之间传递文章社会影响的传递站或中间站。哈曼(49]量化了arXiv中的预印本在多大程度上加速了学术交流，使用了许多主题样本。他发现，在除生物学以外的所有领域，arXiv上的预印本文章在速度和引用率方面都存在显著的引用优势。Shuai等[50研究了维基百科是否会影响学术影响，并表明在维基百科上被提及的文章比未被提及的文章有更高的引用率。我们对altmetrics交互的发现表明，影响激活器arXiv、维基百科或其他开放获取平台和社交网络工具可能存在一个中间站和潜在途径，通过这个中间站和潜在途径，文章可能会吸引更多的在线使用，从而加速在线社交活动，如评论、笔记、帖子、rate或书签，从而扩大文章的社会影响力，这反映在更高的引用率和更高的传播速度上。这导致观察到altmetrics是查看出版物的最佳方式。

另一个发现是，替代指标与传统指标显著相关;引用和下载指标通过Spearman相关方法紧密聚在一起，这与之前的结果一致[17在某种程度上。引用次数与访问统计(r= .30);相关性最高的是PDF下载次数(r=无误);以及引文与学术书签服务CiteULike (r= 0.24)及康诺特(r= 13)。在研究替代指标的相关性之前，我们更仔细地研究了偏斜数据的方法选择。然而，我们使用的Spearman和颜色正方形可视化方法不同于以往研究中使用的方法。例如，Eysenbach [23]，而我们的研究增加了一种颜色方形可视化方法，以更好地揭示相关性。此外，燕[16发现文章访问指标、引用指标和社交书签指标广泛聚类，指标之间的相关系数相对较高;我们发现了额外的集群，如“评级、注释和评论指标类”。此外，我们还想出了一个“传统参数类”，它整合了“引用参数类”和“下载参数类”。

我们的第三个贡献是在整个分析中采用了非参数检验理论。根据单样本K-S检验和直方图的形状，我们得出结论，分布明显非正态且正偏态。Priem类似地总结了一组直方图，但没有进行非参数检验来证明异常分布或计算偏度[17]。我们计算了Spearman系数(通过非参数测量获得)，而不是Pearson系数来计算相关强度。尽管斯皮尔曼测量法已经被Yan和Gerstein使用[16]，他们的样本量(1.3万篇)比我们的样本量(33,128篇)要小。更重要的是，对于异常数据集，Spearman系数具有统计拟合性。此外，用于检测变量相似性的非度量MDS也是一种非参数检验。

我们的结果也支持替代指标可能遵循某些规则，例如帕累托定律。Eysenbach [23是第一个将帕累托定律用于推特(替代指标之一)的人。他挖掘了所有包含文章链接的推文医学互联网研究杂志在2008年7月至2011年11月期间。他基于大约55篇文章的1573条推文的子集，研究了推文的动态、内容和时间，发现了一个不均匀的分布，按推文数量排名，推文作者中排名前20%的人占所有推文的63.4%。这种tweet规律遵循帕累托分布(80/20规则)。同样，我们从D到G的频率分布直方图(四种替代指标)表明，前20%的文章触发了80%的下载和页面浏览量，从而验证了分布遵循帕累托定律。因此，我们提供了一个补充解释帕累托规律使用替代指标。

基于我们的实验结果，我们得出结论，altmetrics补充了传统统计数据，并包含大约三个维度:传统、活动和非活动度量。综上所述，我们的研究展示了一种新的替代度量变量之间的相互作用，并分析了文章的社会影响转移机制。

我们的结论是，分布明显非正态且正偏倚，主要基于从PLOS API下载的文章级度量数据集获得的结果。都是Priem [17]和燕[16]研究了基于类似数据集的替代度量。我们对变量分布是否为正态分布的看法与他们的一致。然而，我们证明了在分析altmetrics数据集时进行非参数测试的必要性。

限制

然而，由于数据集中预设了其他度量指标，因此我们研究结果的含义有限。这项研究是初步的尝试，我们正准备在其他类型的数据集上测试和验证这些发现。有关的相关性发现已被另一个有关[22]及[23]。在尺寸、结构和潜在的冲击传递机制等方面有待进一步研究。

结论

总之，我们用视觉图形研究了altmetrics的尺寸和结构。我们的研究结果为作者、编辑和学术管理的当前实践提供了一个重要的方向。作者应更多地关注主动替代指标所产生的学术社会影响，并更多地参与相关活动，如网站评级、文章注释、文章评论等。出版商应该尝试开展公开的同行评议，在决定是否发表之前考虑科学公民的观点。他们还应该在评分、注释或评论方面探索出版后交互性的价值和应用。学术管理部门应该跟踪已发表文章的传播情况(包括多种类型的引用、评级、评论和注释)，并获取最新的替代指标数据，以确定文章质量或影响终身教职和晋升决策的背景。