自媒体环境下人文社会科学学术文献的质量评价

打开文本图片集

摘 要 为弥补在传统学术交流领域中仅仅通过文章引用和期刊影响因子进行学术质量评价的局限性和时滞性，本文提出并构建了以引文指标衡量学术影响力和以altmetrics指数衡量网络影响力的加权模糊运算模型，认为该评价模型适用于对自媒体环境下的人文社科学术文献进行质量评价，从而能够从多个维度全面反映人文社会科学学术文献的真实状况和水准。

关键词 自媒体 人文社会科学学术评价 学术质量评价 altmetrics指数

分类号 G250.73

Academic Quality Evaluation of Humanities and Social Sciences under “We Media” Environment

Xue Yan

Abstract The traditional academic quality evaluation of humanities and social sciences has the limitation that it is purely based on article references and journal impact factors， which are often time-lag. In order to make up for such limitations， this paper proposes and constructs a weighted fuzzy operation model which is based on citation index for academic influence and altmetrics index for network influence to make academic quality evaluation of humanities and social sciences under “we media” environment. This model is considered from a number of different dimensions to reflect the real situation of academic quality of humanities and social sciences.

Keywords We media. Academic evaluation of humanities and social sciences. Academic quality evaluation. Altmetrics index.

0 引言

自媒体的出现，使得学术研究与学术交流的环境发生了很大的变化，不再完全受制于学术出版机构，在学术评价方面也不再完全取决于同行评议，而获得了更多的空间与自由度。

传统的媒介环境中，学术交流和学术出版的流程围绕“作者—编辑—评审者”这一过程运行，这一学术生产流程基本保障了学术研究内容的公信力和安全性。而在自媒体环境下，作者通过网络平台，可以较为自由地发布自己的研究、认识，以及对他人研究的理解和评价。从论坛、社区到博客，再到微博，在媒体越来越个性化与多元化的同时，研究者发表看法的空间自由度和评论宽松度也在相应扩大。

特别是人文社会科学领域的研究者，他们利用自媒体更为频繁，也更普遍。一方面，互联网已经成为人文社会科学领域研究者获取信息、发布成果和交流的重要平台。另一方面，互联网已经从Web网站和BBS发展到包括博客、微博、贴吧、百科、社交网站和邮件列表服务器等多种类型的网站；在这一过程中，人文社会科学的网络信息资源日渐增多，例如：越来越多的人文社会科学领域的研究者习惯于随时将学术思想、信息发布在博客、微博或个人网站上，接受大众的评价，收获追捧、批评或激发讨论。目前国内知名度最高的自媒体“罗辑思维”就是资深媒体人罗振宇[1]打造的一个发表自己认识社会和学术研究的自媒体平台，在该平台上他以貌似轻松的风格来探讨具有严肃性的学术和社会话题，在优酷上收获了累计超过1.9亿次的点击，其微信公众账号以及微博上，也积聚了大量的粉丝。

不可否认，网络已经成为同行评议之外最有力，同时也是最为广泛的评价力量，正如“自媒体”这个概念的定义所指出的那样，普通大众借助数字科技手段，可以像媒体一样生产、传播并评价内容[2]。由此，也产生了一个新的学术评价的领域——altmetrics①，即所谓的“替代计量学”或“社媒影响计量学”。维基百科中对于altmetrics这一词条做了如下定义：作为广泛采用的期刊影响因子和个人引用指标如H指数的替代。通过追踪类似Twitter，Facebook等社交网络和新闻网站提到和分享某篇论文的次数以及被评论的次数等，然后根据网站的重要性给予不同的权重处理，即可得到对于某一研究成果的测度[3]。简言之，altmetrics的提出就是针对在学术引文之外的社会媒体对于研究成果的评价，以此作为传统指标“引文”的补充。

通过网络数据共享，altmetrics指数能够被迅速收集，可以让研究者近乎实时地看到某一论文、专著、报告、网页、演讲，简而言之“作品”被人们关注，包括引用、浏览、下载、被提及的次数和程度，以及哪些人对哪一类研究有兴趣。因此，这一指标在一定程度上弥补了在传统学术交流领域中仅仅通过文章引用和期刊影响因子进行学术质量评价的局限性和时滞性。

1 人文社会科学学术文献质量评价的主要指标类型

目前在人文社会科学评价中，影响最大的单一指标仍然是影响因子[4]和H指数[5]。影响因子虽然一直备受质疑，但它仍然是学术评价特别是学术期刊评价中最为常用的指标。被引频次是学术评价中最为人所看重的客观指标，但被引频次在用于实际评价的过程中也存在很多例外情况。例如：如果某人曾经发表过一两篇被引次数很高的论文，即使其他论文被引次数低，他的总体成就也会因此被夸大；修正的做法是总被引用次数除以总论文数，得到平均被引次数。但是这种做法对论文少的人有利，而对论文多的人不利。H指数克服了这两个方面的弊端，能够对一个科研工作者学术能力作出的综合评价。但H指数自提出伊始，就被认为存在局限性，不适用于年轻的研究者。后续的文献计量学家们对H指数作了种种修正，如Leo Egghe提出了G指数[6]：将发表论文按被引次数降序排列，当被引次数累计量大于或等于排序位次平方的最大排序时，该位次即是G指数。综合现有研究成果来看，尽管有种种不足，H指数也仍然是学术评价最常用的指标之一。

除了上述两个影响力最大的指数之外，还有依据Elseiver引文数据库Scopus产生的声望指数SJR（SCImago Journal Rankings，SJR），即一种期刊越多地被高声望（或影响力）期刊所引用，则该刊的声望或影响力就越高。在某种意义上，SJR弥补了影响因子为人所诟病的先天性缺陷，即对所有施引期刊都赋予同等的重要性。

1.1 传统学术性评价：引文指标

传统学术性评价主要是通过编辑审稿和同行评议来实现的，是建立在主观的专家评议基础上的定性方法。就人文社会科学领域的研究而言，专家评价的主要考察点大致可以概括为以下四个方面：某一学术文献所反映出作者知识积淀的多少，作者所做研究的方法是否有创新性，观点上是否有独到见解，以及所用材料是否有突破和创新。对这四方面的判断主要依据评审专家的学术眼光和学术经验，因而是主观与不可控的；同时，此类质量评价控制方式必然导致评审周期长，时滞严重。另外，评价成本因素也是影响学术文献评价的重要因素。因此，目前学术文献的质量评价主要依托出版机构、索引机构以及用户的反馈性评价，在此基础上结合专家的审读评议开展进行。

由此不难看出，学术文献的质量评价很大程度上直接相关于学术文献的被引用、被下载、被关注情况的统计和测度，核心的评价指标大致可以包括：他引量（Ct）、年均他引量（Ca）、H指数、论文发表刊物IF值（IF）、施引期刊种类（Ck）和施引期刊最大影响因子（Cfm）等；近年来人们开发出了一些用于衡量论文质量的替代指标，如特征因子（Eigenfactor）和IFPA指数。特征因子以5年为周期进行计算，将“引文质量”纳入测评范围，以类似于PageRank的算法迭代计算出期刊的权重影响值，实现了引文数量与价值的综合评价。其计算思想也与社会网络分析中用于描述节点在关系网络中权力和地位的特征向量中心度相似。此外，还有影响因子平均值IFPA指数（Impact Factor Point Average），IFPA指数综合考虑了学科的平均影响因子、期刊的影响因子、一个期刊的影响因子在本学科中的排序等，意在消除由于学科领域不同产生的影响因子和期刊数量的差别[7]。计算公式如下：

IFPA=（Ij/IA）（1-R/（N+1））n

式中： Ij为某刊的影响因子；IA为学科平均影响因子；R为某刊在本学科的影响因子排序；N为某学科的期刊总数；n为某机构发表的论文数量。

这些指标所做出的评价基本都是相对客观的，但仍然是一种学术文献发表后的反馈评价，是一种反馈性的滞后型学术评价方法。虽然引文分析被用于解释人文社科研究的学术质量和学术影响，在一定层面上已经被证明是可行的，但也一直存在争议，撇开有关学术管理部门对这些指标的误读和误用因素之外，学界对于目前的学术文献质量评价其实有一种较为清晰的认识，即认为目前的论文评价只是一种以期刊评价来代替论文评价，这是学术文献质量评价中无法回避的问题。

1.2 媒介补充性评价： altmetrics指数

面对这一问题，针对学术文献质量评价的补充性或者说替代性指标的筛选和挖掘日益成为学术评价领域学者研究和关注的热点。随着网络的发展，E-science环境日趋成熟，在线学术文献发表不断增加，开放的学术出版被广泛使用，学术研究者也越来越习惯于在网络数字环境中开展工作，并成为网络上的学术部落，相应有关的学术评论和学术交流和分享也广泛地在科学博客、社交网络、BBS论坛等展开，因此，网络时代对于学术文献的质量及其影响力的判断已经不仅仅局限在传统学术交流环境中文献间正式的引用上了，仅仅采用基于引文的指标也无法精确评估某以学术文献对于社会和学术界所产生的影响力，网络的媒介功能使得网络逐渐成为传统同行评议之外最广泛的社会评价力量。所谓的altmetrics指数[8]，就是由网络媒体对于研究成果的评价而来的。借助数字和网络技术，人们可以追踪学术社区和学术网站，获取对某篇论文的被提到、被转发、被分享以及被评论次数的数据等，由此形成对于某一研究成果的测度。

Altmetrics指数的优点正好可以弥补传统引文指标的不足。首先，altmetrics可以获得对于学术文献的即时反馈，而不再是一种滞后的评价，不需要像计算期刊影响因子一样，需要滞后两年时间，这种文献计量需要花很长时间来计算，altmetrics提供的是对于学术文献的质量和影响力的即时反馈。而且，这一反馈不仅包含学术研究人员，也包括了非专业读者。传统引文一定是来源于学术研究人员的，因为学术期刊的主要受众是研究人员，相应的对于研究成果的评论、分享和批评也只会在与研究密切相关的群体间进行。但是，在网络环境中，这一期刊发生了改变，在线讨论的不仅是研究者，也可能包含学生、决策者、业内代表和非专业人士等，这一点对于人文社会科学研究而言是极其宝贵的，并且是迫切需要的，因为人文社会科学所关注的研究问题是来自于人的精神和社会的，altmetrics指标极其充分的弥补了传统引文指标的不足。

Altmetrics指数并不是一个单一的指标，而是衡量某一研究透过在线平台（如：Twitter，Blog）被引用、喜爱、分享、收藏、下载、提及、评论或讨论的次数，这些数据是透过各式各样的开放式网路服务搜集而来，包含开放存取期刊、学术引用数据、学术社区以及社交平台。通过altmetrics.org网站和ImpactStory在线申请，就能追踪所关注的某一研究或学术文献，或学者自己的影响力。

以Plum Metrics[9]为例，该站点是由Andrea Michalek和Mike Buschman共同建立的，目的是为了跟踪研究的分享收录和引用情况。Plum Metrics的评分主要基于社会化媒体和分享，一般包括以下几方面测度内容指标：（1）使用（Usage）：Abstract Views、下载、浏览、馆藏、馆际互借、文献传递；（2）抓取（Captures）：喜欢、书签、保存、阅读器、分组；（3）提及（Mentions）：博文、新闻专题、维基百科条目、评论；（4）社会媒体（Social Media）：喜欢（Facebook，Vimeo， YouTube）、+1（Google+）、Ratings（SourceForge）、赞（Figshare，SourceForge）、分享（Facebook）；（5）引用（Citations）：Cited by CrossRef、PubMed、Scopus、专利（USPTO）等。

Plum Metrics不仅针对期刊论文，还包括很多其他的内容，如博客、书籍章节、访谈、案例、图表、数据集、会议文献以及网页、多媒体、专利等等，因而Plum Metrics可以说是面向的是一个真正意义上的学术文献。

PLOS Article-Level Metrics[10]的影响指标同样也包含了相类似的指标：（1）使用：PLOS浏览、PDF下载、XML下载，PMC浏览、PDF下载；（2）引用：PubMed Central、CrossRef、Scopus、Web of Science；（3）社会书签与发布活动：CiteUlike、Mendeley、推特、脸书；（4）媒体与博客覆盖：Nature博客、ScienceSeeker、研究博文、维基百科、引用通告（trackbacks）；（5）讨论活动与评级：PLOS的评论、注释、评级。

由于中国网络部分限制以及语言隔阂等原因，对于我国论文的altmetrics 指数统计的客观性会受到一定程度影响。Altmetrics最近已经开始在数据统计中支持新浪微博，鼓励中国的研究者在微博上更多的分享自己的研究成果。但是，国内尚未有知名社交媒体主动申请加入altmetrics的数据统计，如科学网、小木虫、丁香园、爱思想等。

随着人们对altmetrics关注度的日益提高，将会有越来越多的研究者习惯于在网络中跟踪和关注其他研究者的活动，并发表自己的观点和评论，进而产生在线影响力。因此，altmetrics指数的统计范围也会越来越广泛，未来将有可能扩展到国内所有知名学术论坛和网站。

2 网络环境下学术文献质量评价模型构建

2.1 网络学术文献质量评价模型构建

Altmetrics目前是文献计量学领域的关注热点，引起了研究人员与学术出版界的广泛关注。尽管有用altmetrics替代引文指标的看法，但更多的研究者和研究人员还是认为引文指标与altmetrics指标互成互补性，诚如德国斯普林格《神经系统科学》期刊出版编辑Martijn Roelandse所说，altmetrics不是要取代传统指标，而是附加于其上，因为它涵盖了传统指标专注于引用而漏掉的其他影响力指标。

无论是传统的引文指标，还是媒介替代指标，这些评价指标所指向的其实都是单一性的，是源自于人们看待学术研究的某一视角，影响因子是基于期刊的，H指数是基于科学家绩效和成长历程的，SJR是基于期刊影响力的，altmetrics指数是基于网络影响力的，这些单一指标对于评价事物的某一方面无疑都是适用的，可以很快地发现和揭示出评价对象的主要特点，但与此同时也限制了人们认识事物本质和真相的视角，应该构建指标体系从多维视角去评价学术研究。因此，本文认为有必要建立一个网络学术文献质量评价模型，形成多维化的学术文献评价方案，通过评价的反馈作用，把握学术发展的状况，从而达到提高学术质量的目的。

基本的研究思路是以“学术文献被引统计基准线”及“学术文献网络水平基准图”为基础，结合引文评价和网络媒介评价两种方法，建立一个符合学术研究特点的，重视学术文献质量和影响力的学术表现评价坐标体系（如图1所示）。

图1 学术表现质量评价模型

由此，可以形成四个象限的不同学术文献质量评价，以论文为例，A区论文可以被认为是学术质量高，但有可能曲高和寡，网络社会影响力较弱；B区论文则无论学术质量和社会影响力都很强；C区论文是学术质量和社会媒介影响力双低的论文；D区是学术质量一般，但具有社会轰动时效的论文；图中的虚线是通过某一时间段的平均值划定的质量评价基准线，由此可以得到三类不同质量的论文区分和界定。

通过这一评价坐标体系，在一定程度上可以更全面地获得对于人文社会科学学术文献的基本判断和认识。

2.2 学术文献质量评价模型的加权模糊运算

本文提出的论文评价模型，是基于加权的模糊综合运算法[11]。拟根据各指标的重要程度，分别赋予不同的权重。至于引文指标和altmetrics指数的具体选取不是本文讨论的范畴，本研究所关注的是学术文献质量表现评价体系，评价的最后总分拟采用如下公式进行计算：

S=■λi■λijSij

式中：S为学术文献质量表现评估的最后总分；

λi为一级指标的权重；i=1，2，…，m，m为一级指标的个数；

λij为二级指标的权重；j=1，2，…，n，n，为二级指标的个数；

Sij为二级指标的得分。

本文的论文评价模型中，λi即为所选取的第i个一级评价指标（网络影响力和学术影响力的各个评价指标）的重要度；λij为第i个指标下的第j个二级指标的Sij重要度。首先，基于网络影响力和学术影响力的各个判断指标对人文社会科学文献进行详细的分析；然后运用模糊加权算法来分析评判文献的质量水平高低。

但是，该评价方法也有一定缺陷，例如，图中小矩形中所示为基准线论文，却被误判断为质量很高的论文，主要原因是其网络社会影响力很高，被广泛传播转发，从而可能也会被很多学术研究者引用，从而导致其被误判为高质量论文。例如：“大数据”是当下的一个研究热点，大数据相关的文章在网络上很多，但是仔细分析会发现，网上流传度较为广泛的都是那些对大数据的介绍性的文章，但是并不能说明这类文章的质量就高。因为这类文章通俗易懂，所以被广泛阅读和传播，从而网络影响力特别高。而那些讨论大数据的具体研究内容和方法类的文章，由于其专业性太强，算法太复杂，关注和点击率并不是很高，即其在网络上似乎并没有太大影响力。

3 结语

人文社会科学研究本身就具有很大的复杂性、多元性和模糊性，对于以学术文献为主体的人文社会科学研究成果的评价往往容易受到各种因素的影响和干扰，导致在一定程度上无法真实反映学术成果的影响和效用。

判别一项自然科学的研究，其质量和对于社会生产力的影响都是较为中立客观，有被验证的可能，因而比较清楚；而对于人文社会科学研究成果的评价则要模糊的多。一方面，人文社会科学的成果，其学术影响并不是即刻现时显现的，有时甚至是相当滞后的。不仅如此，在人文社会科学领域，往往经常会出现学术界的认识和社会大众的理解相左，研究被误读，或存在与现时舆论相反的颠覆性价值判断等复杂情况。因而，在人文社会科学领域，一些极具价值的理论、思想或观点，往往会出现认识上的几经周转，需要经过长期社会实践和历史检验之后，才可能慢慢为人所理解，因此对人文社会科学领域学术影响的探讨，除了应关注同行学者外，还应在更广阔的社会与空间范畴内对其进行深度审视。

面对多样性、复杂性的情况，在人文社会科学学术文献的具体评价中，选定和构建不同的评价指标与维度，确定评价标准，并运用科学的、合适的评价方法是非常必要的。本文所构建的自媒体环境下的学术文献质量和影响力的学术表现评价坐标体系有助于完善人文社会科学学术文献质量评价，以引文评价法为主导，以媒介替代性计量指标作为适当补充、校验，在一定程度上能够相对真实的反映学术文献质量和影响，避免出现过多被片面夸大、抬升，或贬低、忽视，甚至遮蔽的情况，从多个维度反映学术文献的真实状况和水准。

参考文献：

[ 1 ] 张贞.从“罗辑思维”看自媒体传播特质与生长空间[J].传媒观察，2014（10）：21-23.

[ 2 ] 胡吉明.社会网络环境下的信息传播机制[J].情报科学，2015（1）：15-18.

[ 3 ] 余厚强；邱均平.替代计量指标分层与聚合的理论研究[J].图书馆杂志，2014（10）：13-19.

[ 4 ] 邱均平；胡小洋.庆发文和被引双增，贺质量和影响齐升：1980—2013年《情报理论与实践》载文的计量研究[J].情报理论与实践，2014（12）：2-8.

[ 5 ] 方丽，崔雷.利用双聚类算法探测学科前沿及知识基础：以h指数研究领域为例[J].情报理论与实践， 2014（11）：55-60.

[ 6 ] 隋桂玲.G指数与H指数、e指数的关系及其文献计量意义[J].图书情报工作.2013（23）：90-94.

[ 7 ] 俞立平，潘云涛，武夷山.基于分位数回归的期刊影响因子影响因素研究[J].图书情报工作，2010（16）： 143-149.

[ 8 ] 顾立平.论文级别计量研究：应用案例分析[J].现代图书情报技术，2013（11）：1-7.

[ 9 ] 由庆斌，汤珊红.不同类型论文层面计量指标间的相关性研究[J].图书情报工作，2014（08）：79-84

[10] 黄金霞，陈雪飞，沈东婧.开放资源的利用评价研究[J].图书情报工作，2013（21）：18-23.

[11] 沙秀艳，王贞俭.基于快速二维熵的加权模糊C均值聚类图像分割[J].计算机工程与应用，2012（10）：183-187.

薛 燕 南京大学信息管理学院博士研究生。江苏南京，210093。

（收稿日期：2014-09-03 编校：邹婉芬）