《南京大学学报》主编 朱剑
笔者于四年前发表的《重建学术评价机制的逻辑起点——从"核心期刊""来源期刊"排行榜谈起》一文曾指出，"学术评价的危机正在显现，危机的表象是被异化和简化成排行榜的学术评价大行其道"，并且预言，如果只是讨论评价方法孰优孰劣而不涉及问题的根源，那么，"不管每一版期刊排行榜问世时批评和讨伐之声有多猛烈，三两年后，下一版排行榜仍会在更猛烈的批评和讨伐声中隆重推出并继续走红，而关于学术评价问题的热议还会无休止地继续下去。"可谓不幸而言中。四年来，不仅老牌的评价机构已几度更新了其排行榜，更有后起的评价机构争相加入发布排行榜的行列，排行的名目也在不断创新，从昔日单调的"核心期刊""来源期刊"发展到了诸如"权威期刊""顶级期刊""最有国际影响力期刊"等等不一而足，令人眼花缭乱、目不暇接，而关于评价问题的讨论则在定性和定量哪个更科学的纠缠中持续到了今天。所以，要谈论学术评价，还得从排行榜说起。
一、期刊排行榜缘何走红？
1.什么是期刊排行榜？
由发布者依据某些自定的标准，对所有学术期刊进行打分，再按得分多少排名次、分等级，并汇编成册，配以隆重的仪式或强势的宣传，公开发布，其所发布的就是期刊排行榜，同时推出的往往还有由其衍生出的多种排行榜，比如机构排行、学者排行、论文排行等等。人文社会科学期刊排行榜滥觞于1992年《全国中文核心期刊要目总览》，此后，以各种排行榜为最终产品的多家评价机构相继问世。这些机构的排行榜都是每过一到三年就更新发布一次，一时间，各种排行榜你方唱罢我登场，好不热闹！
2.为什么要给期刊排座次？
蔡蓉华总编曾言，《总览》是为图书馆期刊订阅工作提供一本参考工具书。然而，在另一些场合，她却又将《总览》及其类似产品的制作目的扩大到"为期刊出版和管理部门评选优秀期刊"。此一语实道破了排行榜走红的"天机"——在期刊数据库垄断了学术期刊传播的今天，为订阅提供参考已不具实际意义，为行政权力部门服务才是其追求的主要用途。
３.学术评价与行政权力的关系
随着国家对科研事业投入的不断增加，资源的分配和管理日显重要。握有学术资源分配和管理权的行政权力部门的运作需要有所依据，而这个依据主要是学术评价，所以，今天热议的学术评价，早已不是传统意义上的学术批评，而是一种权力——评价权力。行政权力部门采信什么样的评价，就会将什么样的评价者送上权力的宝座。按说同行评议是国际公认的学术评价方式，但在中国却因为"权力支配，人情主导，标准缺失"而异化变质，丧失了公信力，于是评价机构应运而生，适时补位。
4.行政权力部门对学术评价的基本要求
对于管理者而言，评价结果的公正客观和简明清晰是基本要求，于是，几乎每个评价机构的排行榜都以此为标榜。据说这些严格按照客观数据计算出的排行榜就是科学的定量评价的结果。尽管至今没有一个政府部门公开认可的排行榜，但事实上，在所有由行政权力部门组织或主导的评价活动中，排行榜的影响无处不在，最大的影响就在于为将要进行的评价给出了名次预设。排行榜正是通过这样的预设左右了几乎所有的评价。这就是排行榜走红的真实原因。透过评价机构如此钟情的排行榜，是谁都可以看到的对评价权力和利益的争夺。
二、定量评价就是排行榜吗？
为行政权力部门服务并没有错，关键是拿什么来提供服务。排行榜真如评价机构所言，就是科学的定量评价，就是客观公正的吗？
1.什么是定量评价？
所谓定量评价，指的是通过对评价对象相关数据的采集、分析、运算，得出相关结果的方法。作为方法，定量评价具有广泛的适用性，早已成为包括人文学科在内各学科普遍采用的分析方法。期刊在编辑制作特别是传播过程中，会产生大量的形式数据，这些数据在某些侧面和一定程度上反映了期刊的学术影响力甚至学术质量，可以进行量化分析，所以定量评价的方法当然可以用于期刊评价。但学术期刊还是专业化和个性化产品，而不同于标准化产品，定量评价在期刊评价上的适用性是有严格限制的。因此，问题不在于可不可以用，而在于谁来用和怎样用。
2.定量评价数据的局限性
定量评价的基础是数据，但是，"并不是所有的评价信息特别是内容层面的信息都可以转化为用作比较的数据的"；即使可转换成为数据的信息也无法避免"数据转换过程中出现的信息丢失和偏差"。因此，数据虽然客观却难免片面，单纯的定量评价往往不能反映评价对象真实的全貌，而只是某些局部或某个侧面的情况。作为以学术研究成果或学术期刊为对象的复杂评价，单纯的定量评价是无法胜任的，这就决定了仅依靠期刊某些形式数据的评价机构所做的必定是不完整的评价，谈不上客观，更谈不上公正和公平。
3.对数据的专业分析不可或缺
同样重要的是，定量评价一个绝对不可缺损的程序是对数据的取舍、分析和价值判断，这是决定其"算法"是否科学和专业的前提。对于成果充满个性的人文社会科学研究和期刊而言，数据所代表的意义需要非常专业的分析和判断，故其评价只有同行专家才有可能胜任。评价机构所缺的正是专业水准，他们总希望用"算法"来替代专业分析，但至今也拿不出哪怕一个得到公认的成功案例，再复杂的算法也不可能取代专业分析，何况他们的所谓"算法"只是极为简单而随意的加权。换言之，没有专业水准，就不可能有科学的"算法"。这就决定了评价机构不可能做出科学的评价。
4.评价数据的开放与评价结果的公正
判断定量评价是否科学和公正的基本办法是看其是否经得起验证，因此，评价者开放原始数据是公众接受其评价结果的必要前提。然而，评价机构所挖掘和使用的原始数据大多不开放。不开放原始数据的任何评价，作为科研成果，它很难有科学性可言，因其结果无法验证；作为评价结果，它很难有公正性可言，因其过程无法监督。评价机构并非不懂这个道理，但仍不开放数据的原因在于，一是试图通过垄断数据来垄断评价；二是其数据质量不高，经不起验证。
5.评价机构不是适格的评价主体
定量分析本身就是一种有缺憾的评价方法，其使用需要慎之又慎，从方案设计、数据采集、分析解读到结果验证都需要有一整套严格而科学的程序，哪一项都离不开专业水准，即使这样，对其结果的应用也需要有严格的限制。显然，像现今这样基本由单一的图书情报专业人员组成的评价机构是既没有资格也没有能力承担所有学科和期刊评价的。至于这些机构的排行榜，多是根据片面数据，不加分析，随意加权而"算"出来的结果，只要稍稍改变一下加权方案，排位立刻就会出现重大变化，根本不符合定量评价的基本要求，因此连起码的定量评价也算不上，只不过是他们做的一场数字游戏而已。拿这样的"评价结果"来为政府服务，怎能让现行的学术评价不成为千夫所指？
三、排行榜造成了怎样的影响？
对于学术评价来说，与评价主体、目的、方法同样重要的是结果。任何评价，不管为谁服务，其意义首先应体现在被评价者能从中获益。准此，评价结果的形式可以是多种多样的，但唯独不可能是排行榜，因为排行榜对于被评价者来说，除了知道自己得了多少分、排在第几名外，无法获得真正有帮助的信息，而以排行榜替代学术评价造成的负面影响却不可低估。
1.排行榜撕裂了评价，造成了评价的分裂
与定性评价一样，定量评价也是一个在评价机构产生之前就早已存在的方法，同一评价主体完全可以也完全应该同时运用定性、定量和其他方法进行学术评价。但评价机构自产生后，就极力将自己打扮成唯一胜任定量评价的专家，并成功地将定性评价与同行评议画上了等号，这就使得"学术评价事实上已分裂为定性评价和定量评价两类既不相干也不类同的评价种类"，从此，学术评价变得残缺不全，同行评议成了纯粹的主观判断，定量评价则简化为排行榜，各自独立甚至对立。
2.排行榜误导了期刊
评价机构制作排行榜的所谓量化指标体系不仅不可能覆盖期刊的所有方面，而且皆由忽略了期刊个性的通适性指标组成，具有明显的共性指标偏好。当这样的排行榜与学术资源、学术利益紧密地联系在一起时，为追求更好的评价结果，期刊就会研究其偏好并迎合之。现实中，这样的"研究"和"迎合"极为普遍，甚至不惜为此而造假，其例不胜枚举。正是依靠排行榜，原本应为期刊服务的评价机构才成了办刊的"指挥棒"，从而构成了与学术期刊的颠倒关系。
3.排行榜败坏了学风
排行榜的危害并不止于期刊，整个学术界都深受其害。近年来，举凡与学术相关的物事，都有评价机构为之排名，学校、教师乃至学生的名誉和利益皆系于此，无不为之绑架。比如每个高校的期刊榜，都是评价机构排行榜的翻版，学位、绩效、职称、项目等的评定无不以此为标准，促动了一轮又一轮的学术造假之风，诸如院士造假、校长抄袭等奇闻的背后都有排行榜在作祟。
4.排行榜危害了研究
在成为学术评价的标准之后，排行榜已无孔不入地渗透到了学术管理和学术研究的每个角落，被其绑架的已不仅仅是学者，学界中人，明知其荒唐，却无可奈何，学术研究又怎能不受其伤害？
四、学术评价未来如何？
其实，对于以排行榜代替学术评价所引发的种种问题，学术界和管理部门并非不知晓，而评价机构自己又何尝不心知肚明？
然而，从管理部门到学术界却都束手无策，其原因在于，评价之于行政权力部门的学术资源分配和管理，须臾不可离，尽管排行榜有种种问题，但却难觅替代产品，因为现今学术生态下的同行评议同样问题重重。于是，从过去的遮遮掩掩到今天的冠冕堂皇，后起的评价机构甚至直接以"排行榜"来命名其产品，排行榜几乎成了学术评价的标准形式。
那么，学术评价的未来如何？
如果将视野总是局限在评价方法一隅，我们将永远也走不出定性、定量孰优孰劣的争吵。其实，评价主体更值得关注和讨论。只有学术共同体才是有可能使学术评价走向科学的唯一主体，而当今不合理的科研体制赋予了评价机构以评价权力，才促成了后者身份的僭越和排行榜的泛滥，严重破坏了学术生态。摒弃排行榜就是对评价机构评价主体身份的否定。所以，要让学术评价回归学术共同体的评价，摒弃排行榜将是必须迈出的第一步。
从长远看，科研体制和评价机制的改革终将进行，评价主体也终将回归学术共同体，但是，要让学术共同体的评价成为一种科学的评价，还有待于学术民主的真正建立，因为没有学术民主这一前提，同行评议只能是一个"专家的江湖"，而学术民主的重建必定有一个充满艰难曲折的漫长历程。
从近期看，科研体制和评价机制的调整正在起步。2016年1月国务院办公厅公开发布的《关于优化学术环境的指导意见》明确提出："优化学术民主环境……科学合理使用评价结果，不能以各类学术排名代替学术评价。" 显然，从管理部门到学术界和学术期刊界，对摒弃排行榜已形成了一定的共识，如能付诸实施，那么，将迈出走向科学评价的第一步。
然而，寻找排行榜替代产品的过程注定不会一帆风顺，比如，近年来常被提起的"定性评价与定量评价相结合"，貌似公允，实则似是而非，因为裂为定量和定性两端的评价皆是残缺的评价，我们怎能指望纯主观判断与排行榜的叠加能产生出科学的评价结果？
要摒弃排行榜，建立科学的学术评价和学术期刊评价机制，管理部门、学术界、期刊界以及评价机构需要在以下几方面达成共识：
首先，应该明确学术评价的专业属性，评价主体只能是学术共同体而不可能是其他。
其次，评价权力回归学术共同体的过程必然是学术民主重建的过程，必须让学术民意有充分表达的平台和渠道，必须让评价权力置于有效的民主监督之下，必须让评价成为"透明的评价"。
再次，定性评价和定量评价都应回归一般的评价方法，统摄于同一主体，而不是各自独立的不同评价类别。
最后，对于所有评价机构来说，"明智的进路选择在于，退出学术评价，回归评价数据开发者的定位。"如此，则既有利于评价机构挖掘数据专长的发挥，又可实现数据与评价相分离并实现数据的开放和共享；至于对数据的解读和应用，则是各学术共同体的事。