河套 IT TALK 27：同行评审的历史与未来

同行评审的起源

1660年，英国发生了一件大事：在欧洲大陆流放的国王查理二世回到英国了！我相信当时他的心情是坎坷不安的，因为11年前，他老爸在宴会厅外被当众斩首处决了，这可是英国历史第一次。他也在随后1651年伍斯特战役中被议会军击败，狼狈不堪伪装成仆人，坐着运煤船灰溜溜逃到法国。

流亡的查理，由Philippe de Champaigne绘制，c. 1653

为了体现英明勤政，进而笼络民心，查理二世当年就同意成立了皇家学会（Royal Society of London for Improving Natural Knowledge，简称Royal Society，相当于我们的中科院）。这也算是世界上最古老的持续存在的科学学院了。查理二世成为学会的保护人。他被认为是最受欢迎的英国国王之一，这件事儿肯定功不可没。之后，每一任的君主都是皇家学会保护人的这一传统也一直延续至今。

英国皇家学会徽章

当时皇家学会的创始人约翰·威尔金斯 (John Wilkins )邀请几年前在牛津认识的亨利·奥尔登堡 ( Henry Oldenburg ) 担任第一任秘书。亨利原是德国人，后来在欧洲很多国家都待过，精通各国外语，欧洲科技圈子里交际广泛，很适合做通信联系的工作。亨利在担任秘书期间，还搞了一刊杂志《皇家学会哲学汇刊》（Philosophical Transactions of the Royal Society），他是创始编辑。为了保证出版文章的质量，亨利采用了一种被称为同行评审（Peer Review）的方法。这个看似很不起眼的简单手段，既然被传承到当代，而且被学术界、科技界、技术公司等领域广泛使用。正因如此，亨利·奥尔登堡被视为现代科学同行评审的“之父”。

扬·范·克利夫画的亨利·奥尔登堡，1668 年

同行评审的优势

同行评审是由一个或多个与文章（当然也可能是代码等其他情况）的撰写者具有相似能力的人（同行）对文章进行的评价。它作为相关领域内合格专业人士的一种自我监管形式发挥作用。同行评审方法用于维持质量标准、提高性能和提供可信度。在学术界，学术同行评审通常用于确定学术论文是否适合发表。在技术公司，同行评审通过作为过程文档是否适合基线归档发布的前置条件。

长期以来，同行评审是学术出版和文档基线不可或缺的一环，也是受到科技界高度认可的一种文化和最佳实践。有调查显示，绝大多数人(85%)同意 “同行评审极大地帮助科技交流”，甚至更多人(约90%)表示他们自己最近写的文章通过同行评审得到了改进。但事情真的都是这样吗？

同行评审在期刊评审中的缺陷

随着科学竞争日渐激烈、需要审核的文章数量暴增，传统同行评审在科技界也暴露了很多的问题。在传统的期刊同行评审过程中，审稿人对除期刊编辑以外的任何人保持匿名，而作者姓名从一开始就被公开。也就是说，作者是不知道自己文章的评审意见是被谁提的。但是审稿人都知道作者是谁。大家发现问题没有？这里面存在审稿人打黑枪的机会。所以近些年，对它的争议越来越明显，基本上分为以下几种争议：

同行评审会出现对创新思想感知层面对同质化趋势。也就是说，传统想法的审稿人往往会给创新的文章或者观点打低分，而创新想法的审稿人往往会给创新文章或者观点打高分。但情况基本上都是前者居多。大部分评审者都不会垂青争议性很大的文章。很多重大会议的投稿接受率很低，有些甚至不到10%，而往往是这样，很多标新立异的文章和观点因为同行评审而被事先淘汰掉了。
审稿人往往无法做到对文章和观点的完全仔细地审核，更不要说投入和撰稿人一样的精力了。这种状况往往导致对很多文章理解表面化，提出的评审意见也多随意性。甚至，很多时候，审稿人的专业性还远远低于撰稿人的水平。
很多审稿人的评论非常刻薄。一项基于同行评审意见库的研究发现，通常认为审稿人评论的本应该是数据、论证、研究方法等等，对事不对人，然而残酷的现实情况是审稿人对撰稿人个人能力的批评占到了评审意见的24.5%。近乎人身攻击的批评在同行评审里并不少见。辛辛苦苦写出的文章和做出的研究工作收到这样的侮辱性评价，撰稿人感觉 “泄气、被贬低和恼怒” 也是显而易见的。一项研究调查了来自46个国家和14个学科的1106名科学家。超过一半的受访者报告说至少收到了一次 “不专业” 的评论，其中大多数人表示他们收到了多条类似问题的评论。从结果上看，这些刻薄评论会伤害到科技人员的产出，尤其是更容易自我怀疑的弱势群体。
同行评议速度慢、效率低下。有调查发现，科研人员对同行评审最不满的地方是评审周期太长。有67%受访者如果能在30日内接收到评审意见，会表示满意，但如果延至3个月至6个月时，这个满意比例会骤减到10%。
撰稿人的妥协。在科技竞争日渐激烈的今天，如果一篇文章被拒被迫转投其他期刊，不仅仅是延迟发表的事儿，而很可能因为过了保鲜期，必须放弃投稿。所以，一般而言，文章作者都会屈从大多数评审人的意见，而不管自己是否认可这些意见。结果往往一篇观点鲜明的文章，经过同行评审却被改得面目全非，补充一堆不是很重要的信息和数据，让文章变得繁琐冗长。

那么同行评审有改进空间吗？当然有，这里有两种改进方向：一项改进是双盲评审（Double-blinding），增加神秘感，撰稿人和审稿人双方都不知道对方是谁。还有一项改进是开放同行评审（Open Peer Review），也就是增加同行评审的流程透明度。下面我们就分别说说这两项改进。

双盲同行评审

双盲同行评审意味着作者和审稿人的身份都被隐藏起来。考虑到开黑枪的情况，所以假设如果审稿人不知道作者的身份，将防止审稿人形成任何偏见和利益冲突。理论上，双盲法可以更公平地评估研究文章内容和质量。

双盲法是在药物科学实验做对照比较时的标准程序。受试者不清楚自己到底服用的到底是潜在的药物，还是安慰剂。评估者同样不知道。这样做法会将实验偏差降到最低。

自 2015 年 3 月起，《自然》杂志为作者添加了选择是否愿意保持匿名的选项。尽管这一改进同行评审的步骤应该受到赞扬，但该过程是可选的这一事实可以说与目的背道而驰。它可能会导致知名度高的研究人员保留他们的姓名和隶属关系，而审稿人可能会认为所有匿名手稿都来自不知名或低调的研究人员。

另外，审稿人如果是圈内人，也很容易根据作者的论文描述和参考文献找到线索推导出作者可能是谁。这就形成了一种虚假安全的陷阱。当审稿人根据论文内容推断出作者时，双盲程序变成了单盲审查，这种黑枪打出来，审稿人还可以不知道作者是谁来加以推脱。这种情况下，防止偏见的保障消失了，双盲过程的虚假安全成了一个陷阱，它反而鼓励了本应防止的偏见。

开放同行评审

德国海德堡大学的冈瑟·艾森巴赫 ( Gunther Eysenbach ) 在1999年创建了一个网络医学和电子健康研究单位，并牵头组织了世界医学互联网大会。他也同时搞了一个可以开放获取的医学互联网研究杂志《Journal of Medical Internet Research》（简称JMIR），在这个期刊杂志中，他改革了同行评审的策略。从一开始就决定在每篇发表文章的底部公布审稿人姓名。这一做法，立即得到了《英国医学杂志》的响应，他们也转向开放式同行评审，向作者而非读者公开审稿人的身份。

2014年，由世界上期刊文章产量最大的出版商“多学科数字出版研究所”MDPI (Multidisciplinary Digital Publishing Institute)出版的《生命》（Life）杂志，提供了一种开放的同行评审系统。在该系统下，同行评审报告和作者的回复作为每篇文章最终版本的组成部分发表。

总结下来，开放同行评审基本用到了三种策略和手段：

公开身份：作者和审稿人知道彼此的身份。揭开审稿人的神秘面纱，让作者知道评审人是谁。
公开评审报告：评审报告与相关文章一起发布（而不是保密），如果想人身攻击作者，或者随便写评审意见的话，审稿人也要掂量掂量。黑枪会公示天下。
开放参与：更广泛的社区（而不仅仅是受邀的审阅者）能够为审阅过程做出贡献。这种方式可能会得到更多的专业意见，也会挖掘扫地僧之类的审稿高人。当然，这种方式假设的前提是作者要同意这篇文章在发表前已经公示天下，对外公开了。不过这个开放参与，还有一个审稿人的筛选机制，也就是有限的对外公开。想做审稿人的话，必须先撰写自己的简历和过往同行评审经验经历，以及自己的专业领域擅长及其证明等等，然后达到可以作为审稿人的水准的前提下，才能看到文章。

总体而言，公开审稿人身份，会让评审流程透明化，审稿人比他们在之前匿名状态评审时“更认真、诚实和更富建设性”，同时让作者知道到底哪些人对他文章的观点保持敌意或者持反对意见。

开放同行评审的唯一显著负面影响是“增加了审稿人拒绝审稿的可能性”。一项对2010至2017年5种期刊上公开发布的同行评议意见的研究发现，只有8.1%的审稿人愿意在公开的评审报告上署上自己的姓名。当然评审意见发表也可以做到隐秘审稿人身份，或者多个审稿人评审意见进行整合，和文章一并发表。这些能做到某种程度的平衡。

2022年10月份，eLife发布了一种新的发布机制。所有经过同行评审的文章和评审意见一起作为 “已评审预印本” （Reviewed Preprint）在eLife的网站上发布。而杂志社不再根据同行评审意见做出接受或者拒绝文章发表的决议。最后，甚至包括作者对这些评审意见的回应，也作为发表的一部分。也就是说，作者才是发表还是不发表的，接受和不接受评审意见是否进行修订的最终决定人。从 2023 年 1 月 31 日起，所有向 eLife 提交研究论文的作者都将遵循这一新流程。这个流程大致如下：

1. 提交

作者提交论文后，会得到论文是否会被邀请进行下一步同行评审的回复。

2. 同行评审

论文将接受该领域专家的咨询审查，并收取出版费。然后，作者将收到 eLife 评估、公开评论和审稿人关于如何改进论文的机密建议。

3. 出版

作者的论文作为已评审预印本连同 eLife 评估和公众评论一起发布在 eLife 的网站上。然后它是可引用的。eLife 评估反映了研究结果的重要性以及预印本中报告的证据强度。作者还可以继续对评估和评论给予回应。

4.作者修改

作者可以决定是否进行进一步修订，以及是否以及何时重新提交。如果作者修改，eLife将发布一份新的已评审预印本，其中包含更新的评论和评估。

5.记录版本

在同行评审之后的任何时候，作者都可以选择将评审预印本作为“记录版本”发布。在作者校对并符合期刊政策后，eLife 会将作者的论文发送到 PubMed （PubMed是一个免费的搜索引擎，主要访问生命科学和生物医学主题的参考资料和摘要的MEDLINE 数据库。）上进行索引。

写在最后

eLife的这种做法是否会成为一种新的期刊同行评审的新的规则呢？这个需要拭目以待。一个规则如果做得好，大家都会去拥抱它。但开放同行评审，由于评审记录是公开发表的文字，所以可能会引发审稿人更为斟字酌句，无形中也会拉长评审的时间。

还有一种观点认为，同行评审不是期刊问题的根结，最大的问题是以期刊为中心的学术出版制度：很多期刊被学术界看得过重，导致投稿过于集中，对所谓 “顶刊” 的崇拜越来越厉害。为了提高在“顶刊“上被接纳评审通过的概率，投稿人也会钻空子，他们会故意迎合期刊历史上审稿人的观点，而不去写大胆创新的文章，这就不是简单同行评审的改革本身能解决得了的了。