“四唯”如何破:中国科学院研究所评价的实践和启示

发布时间:2021-01-06 16:46:13  |  来源:中国网·中国发展门户网  |  作者:李晓轩、徐芳  |  责任编辑:张蔚蓝
关键词: 破“四唯”,中国科学院,研究所评价,中国科学院模式,科技评价

中国网/中国发展门户网讯 多年来,科技评价,尤其是基础研究领域的科技评价,一直是我国科技体制改革的热点问题。201810月,科学技术部、教育部、人力资源和社会保障部、中国科学院、中国工程院五部门联合发布《关于开展清理唯论文、唯职称、唯学历、唯奖项专项行动的通知》,在高校和科研机构引起广泛反响。一方面,各部门和单位对照文件精神清理唯论文、唯职称、唯学历、唯奖项(以下简称四唯)问题——取消了各级考核制度或规定中一些明显不合理的四唯指标要求,起到了纠偏作用。另一方面,科技界也在热议和担忧破四唯背后的深层次问题。例如:破四唯后,什么?如何保证科技评价的公平公正?人情因素是否会盛行起来,青年人才是否更难以出头?与此同时,另一种声音也出来了,破四唯是因为少了,就是要多’”,就是要增加更多的可量化的指标。各种声音交织在一起,破四唯几乎陷入进退两难的死胡同,科技评价改革困难重重。

毫无疑问,在破四唯上,当前迫切需要有效的、有突破性的评价方法或是有说服力的成功案例。由此,本文选择中国科学院(简称“中科院”)研究所评价20多年发展历程为案例,通过比较分析在科技评价方法上的演进及其背景因素,发现中科院研究所评价从第一阶段的定量排名评价到第四阶段的定性评价的演进,实际上走出了一条破四唯的实践道路。本文将中科院研究所评价走出的破四唯的道路,称为中国科学院模式(以下简称“中科院模式”)。需要说明的是,本文所称的中科院研究所评价特指中科院机关对所属研究所的综合评价且尤指基础研究领域的研究所综合评价,不包括中科院机关对研究所开展的其他单项评价,也不包括研究所内部评价等。当然,中科院模式在机构评价上实现的破“四唯”,目的在于引导和推动中科院在人才评价、项目评价和团队评价等其他评价上的破四唯”。因此,本文将介绍和分析科技评价的中科院模式,旨在探索破四唯的理论和方法,以期对我国科技评价改革起到抛砖引玉的作用。

 

如何理解破四唯

应该说,论文、项目、奖励、人才称号(包括学历、职称等)等都是科研活动中非常重要的指标。论文是科学发现或创新思想的重要展示方式;以竞争方式获得项目资助是科研人员研究水平和能力的反映;奖励和人才称号是社会(主要是科学共同体)对科研人员研究工作的认可。因此,对于科技评价而言,这些指标无疑都很重要。我们认为,破四唯并不是说在科技评价中不再看这些指标,而是不能的关键是简单地以这些指标加和计算,即:简单地以论文数量、发表刊物的影响因子,以及项目、奖励、人才帽子等的数量和级别计算分值——分值越高越好,分值不够就不达标。因此,破的核心就是要破简单、机械的量化评价。


那么,如何破简单、机械的量化评价呢?当然就是用定性评价来替代,也就是我们所熟知的同行评议。基础科学研究具有不确定性,其原创性成果的价值难以量化,且成果只有第一,没有第二;因而,目前只有同行评议是科技界公认可行的评价基础研究的方法。在此,本文提出,以原创性成果产出为特征的基础研究的定性评价替代量化评价是破四唯唯一可行的方法,不妨将此命题命名为基础研究的科研评价黄金法则


那么,为什么我国没有按照科研评价黄金法则直接在科技评价中采用同行评议,而是还在采用“四唯”量化评价呢?因为有效的同行评议需要3个前提条件:要有的、有水平的同行,这就需要有一支数量较大的高水平专家队伍;要有的科学文化,人情、关系过盛是做不到真实有效的评价的;要有的评价对象,稀缺的评价资源首先要投放在高水平的、有潜力的评价对象上。目前,我国尚不完全具备这3个条件。此外,还有评价目的等方面的原因。例如,简单明了的定量排名评价可以形成强竞争机制。所以,简单地废除量化方法,全部代之以同行评议,在实践上是不可行的,这也正是为什么不少人对破四唯有担忧


那么,前有“狼”后有“虎”,“四唯”该怎么破呢?除了前述对明显不合理的评价指标或方法纠偏外,是否存在比较彻底的破“四唯”的可能呢?其实,问题的关键在于,以上同行评议的3个前提条件在全国整体不具备,是不是意味着在某些局部也不具备呢?显然不是,经过改革开放多年的发展,政府科研经费的投入,以及人才引进积聚,在一些学术高地是具备了这些条件的,是可以在破“四唯”上先行先试的。中科院研究所评价经过20多年的探索和发展,就走出了一条道路,成功实现了从定量评价到定性评价的跨越,形成了对破“四唯”改革具有借鉴意义的中科院模式。

 

中科院模式的形成

中科院是我国自然科学最高学术机构。从20世纪90年代起,科技评价成为中科院机关管理研究所的重要工具,最典型的代表是中科院研究所评价。中科院研究所评价的3个主要作用为:对研究所发展发挥导向作用;绩效产出的衡量作用;竞争激励作用。20多年来,中科院研究所评价体系先后经历了蓝皮书评价、二元评价、综合质量评估和重大产出导向评价4个主要阶段,呈现出从定量评价向定性评价逐步过渡的显著特征。


蓝皮书评价体系(19931997年)

1993年,中科院启动研究所综合评价。当时,我国科技体制改革启动,随着职称制度和科技奖励制度等的恢复,以及竞争性科技项目的设立,科技评价在我国迅速兴起。例如,南京大学开始在评价中引入当时比较先进的SCI论文指标。那时,外界发布了一个对中科院研究所的排名,但其结果却很奇怪,误导了社会对中科院研究所的认识。这一具有“误导作用”的外界评价,触发了中科院自己来评价所属研究所。因为这次评价的报告封面为蓝色,因而被称为“蓝皮书”评价体系。

这一时期的中科院研究所评价采用的是定量排名评价,选取了论文、专利、项目、经费、人才、获奖等指标,对研究所的科技产出情况和发展状态摸家底,并按得分多少对研究所进行排名。该时期研究所评价完全是量化评价——按照当下的标准,四唯现象应该比较严重。


二元评价体系(19982004年)

1998年,国家支持中科院开展知识创新工程试点。按该项目的战略目标要求,新建立的研究所评价体系包含基于研究所创新任务书的目标完成度的定性评价和体现中科院基础性、战略性、前瞻性使命的定量评价2个部分,故被称为二元评价体系。定性评价的目标完成度中改革任务较重,既有学科方向调整等科技目标,也有人员规模压缩、人员年轻化等管理目标。定量指标包括承担战略性科研任务、高质量学术论文、专利、奖励、人才、咨询报告、重要国际学术会议特邀报告、重大社会经济效益等。评估结果由定性评价和定量评价加权计算得到,表达形式为研究所排名。


二元评价体系比蓝皮书评价体系进步较大,但因为定量评价在计算结果中实际起到的作用较大,四唯现象依然突出。为弥补过于量化的不足,2003年中科院在二元评价体系中补充开展了重大创新贡献评价,研究所若有一项重大创新贡献入选,则该研究所直接评为优秀,而不管计算得到的结果如何。当年,中科院近100个研究所里共有13个研究所以这种直通模式被评为优秀”。例如,中科院寒区旱区环境与工程研究所就是凭借“青藏铁路冻土工程机理研究成果被评为优秀。但是,因为重大创新贡献毕竟有限,可遇不可求,研究所仍然对定量指标高度重视。


综合质量评估体系(20052010年)

2005年知识创新工程进入第三期,中科院对照其目标的改革任务基本完成,研究所评价体系调整为综合质量评估——分为研究所自评估、院外专家对成果的同行评议、院内专家对同一领域内研究所的交流评议、机关管理专家到研究所的现场评估、研究所年度基础数据定量监测等5个单项评估环节,以及专家综合决策分档环节。其中,定量监测采用了指数计算方式,实现了定量评价结果的横向和纵向可比。总的评估结果采用分档表达而不是排名,分档结果是专家在5个单项评估结果基础上依据事先确定的原则判断得出,而不再是加权计算。


因此,可以看出,综合质量评估体系相比二元评价体系,进一步加强了定性评价,减弱了定量评价。然而,即便如此,在综合决策分档过程中,定量环节的结果对于专家组的定性判断还是发挥了较大作用;其中,一个重要原因是专家仅凭个人知识和经验难以对拥有众多学科方向、成果类型多样、规模体量又较大的研究所的综合绩效作出有效判断。


重大成果产出导向评价体系(2011年至今)

知识创新工程结束后,自2011年起,中科院简化研究所管理,给研究所下放更多自主权。研究所规划简化为一三五规划,研究所评价体系调整为两个环节、一个基础的重大成果产出导向评价体系


1个环节:国际专家诊断评估。邀请国际专家对研究所的定位和水平、领域方向或团队的地位水平和影响,及重大成果的进展情况进行现场诊断评估。国际评估主要涉及基础研究工作,要求凡是能国际评估的研究工作尽量采用国际评估。在一开始,中科院内对国际评估还有一些不同看法,担心投入过大而收效不大,但中科院数学与系统科学研究院、水生生物研究所、广州地球化学研究所的国际评估试点结果非常理想,这消除了大家的顾虑。


2个环节:目标完成情况验收。邀请国内同行专家,对一三五规划中目标定位合理性、3个重大突破任务的完成情况和5个培育方向情况一一进行评议,形成分项评议结果。


一个基础:年度关键定量指标监测。其结果只对两个环节的评价提供参考。

至此,中科院研究所评价演变成完全意义上的定性评价,或者同行评议。相比于前一阶段的综合质量评估体系,这种转变之所以成功,一个重要的原因是重大产出导向的评价体系不再针对研究所整体,而是采用逐个评议以一三五表征的关键少数的模式,使专家评议的作用能够发挥出来。

 

中科院模式的分析

中科院研究所评价经历的4个阶段显示,其定量评价部分的发展趋势由强到弱,而其定性评价部分则由弱变强(图1)。基于科研评价黄金法则,本文认为中科院研究所评价走出了一条破四唯的道路,形成了中科院模式。

中科院模式形成的条件


中科院模式形成的条件可分为主观和客观2个方面。从主观能动性看,评价目的不同,即体现中科院不同时期、不同发展战略的评价目的不同,并推动了评价方法的持续完善和进步。从客观条件看,主要是中科院研究能力和水平的提升,包括在研究产出、人才、国际影响力等方面的快速提升,以及科研经费、科研平台等保障条件的提升。


从研究产出看,中科院高水平论文和原创研究能力一直快速增长。20世纪90年代初,中科院在SCI论文及ScienceNature等高水平论文发表方面,与德国马普学会和法国国家科研中心等国际一流科研机构相比,差距较大;到2005年,中科院SCI论文总量就超过了这2个机构。2005年前后,少数中科院研究所,如中科院物理研究所在ScienceNaturePhysical Review Letters等高水平刊物的发文量已经不逊于国际上著名研究机构发表的数量。到2010年前后,中科院所属研究所已经陆续有一些好的原创成果得到国际学术界关注,甚至被Science等重要期刊的年度综述引用。在2013年开始的中科院研究所国际评估中,不少研究所的成果被国际专家认为处于国际领先水平或国际第一方阵。以CNS论文为例,中科院CNS论文数量在19912020年间呈现快速增长趋势(图2)。将这一趋势和中科院研究所评价中定量、定性变化趋势放在一张图里,可以发现中科院CNS论文数量增长趋势与中科院研究所评价中定性评价的增加趋势一致(图3)。


对中科院模式的认识


从对中科院模式形成条件的分析可以得出:定量评价和定性评价谁多一点、谁少一点对实际管理需求而言没有优劣之分,只要与发展的战略和条件相符合就是有效的评价体系。在中科院研究所评价的第二阶段即二元评价时期,定量结果占比较大、评价结果的应用也比较强,因此很多研究所所长,尤其是因评价结果不理想而被扣减经费的研究所所长意见比较大。他们认为国家通过知识创新工程大幅提升了对中科院的科研经费支持,可以安心搞研究了,不应该通过评价折腾大家。时任院长在2003年中科院工作会议上专门讲了他个人关于认为中科院还需要竞争发展的理论——中科院发展还不平衡,队伍参差不齐,不能像德国马普学会那样自由发展,还需要有一个如同市场竞争一样的激励竞争发展的过程,让优胜者能够脱颖而出。


基于论文指标等的完全定量的评价从科学性的角度来说,肯定是有缺陷的。但从管理的角度来看,在特定的发展条件和避免不恰当使用的前提下,也可发挥定量评价客观、简明、公正等的优势,有利于科研机构和科研人才的竞争发展。


中科院模式的局限


中科院研究所评价到第四阶段即研究所重大产出导向评价阶段,应该说成功实现了破四唯。然而,其局限性仍然比较大,主要是中科院研究所评价的改变尚未能完全影响研究所内部的评价。除中科院物理研究所、数学与系统科学研究院等一批发展突出的研究所情况较好之外,不少中科院研究所内部的评价还大量存在四唯现象。目前,中科院研究所评价体系与德国马普学会对其研究所的评价体系类似;但是,在研究所内部评价和科研人员自身对四唯考量上,两大机构还有较大差别。一方面,因为中科院研究所发展不平衡,有些研究所对定量指标还有需求;另一方面,在国内“四唯”大环境下,中科院难以独善其身。没有足够量的论文、没有重要项目、没有奖项和人才帽子等外在标识,科研人员很难得到目前科技管理部门乃至科技界自身的认可和支持,这种管理上的惯性依然强大。

 

结论与建议

结论


通过前文分析并基于基础研究的科研评价黄金法则,可以得出3方面结论。


在中国“四唯”是可以破的。中科院研究所评价从第一阶段的定量排名评价到第四阶段的定性评价的演进,即评价结果从第一阶段由定量指标加和计算得出到第四阶段由同行专家判断得出、定量指标仅作为支撑基础,这实际上走出了一条破“四唯的道路,即中科院模式。


“四唯”不能“齐步走”。中科院和具备条件的双一流高校、国家自然科学基金等重要项目、国家科技三大奖、重要人才计划等,应该率先担起破四唯的责任。中科院模式的形成是有条件的,除了中科院根据不同时期战略需要积极改进评价体系和方法外,关键是作为前提条件的研究产出、人才、国际影响力等研究能力和水平的快速进步,达到了足够的学术高度。


对于“四唯”,不能为破而破。在条件不具备的情况下,不能简单地以定性评价替代定量评价来代表破“四唯”。中科院在不同时期定量评价和定性评价谁多一点、谁少一点没有优劣之分,只要与发展战略和条件相符合都可算是有效的评价体系。从管理的角度来看,在特定的发展条件和避免不恰当使用的前提下,也可发挥定量评价的优势,有利于竞争发展和青年人冒尖出头。


建议


改革开放以来,我国科技现代化快速发展,科研能力和国际影响力大幅提升。在依托顶级期刊发表论文数据的自然指数NI)排名中,2019年我国位列全球第一。同时,我国基础研究原始创新能力依然不足,原创性成果偏少。目前,我国正处于从跟跑”“并跑”向领跑转变的关键点上,也处于科技自立自强的新时期、新形势下,必然要求基础研究特别是学术高地从量化评价向定性评价转变,破四唯需求愈加迫切。


这些年改革科技评价的政策密集出台,科研机构、高校科技评价制度改革蔚然成风,在科研人员职称评定中采用的代表作制、长聘制、国际评估、非升即走制等都是有益的探索,国家自然科学基金“负责任、讲信誉、计贡献”的评审机制改革正在有序推进。中科院模式是其中一个经过长期探索积累、比较成功的代表,其成功的原因可以从多种角度分析。其中,一个重要原因是中科院作为一个科研机构的特殊地位,不仅是其使命定位上的特殊性,而且因为其“独一无二”,使得中科院受外部影响较小,可以更加从容地根据自己的发展需要设计和改进评价体系。相反,各高校之间在各种排名上相互竞争更加激烈。正如笔者访问的一位高校校长所说,“作为校长我知道该怎么做。但是,如果排名比竞争对手差了,学校师生、校友乃至学生家长都不会答应,从上面争取资源还会受到影响”。


2017年,笔者曾发文提出中科院研究所、985高校等学术高地应该发挥各自优势和特色,走出破解科技评价困境的道路来,成为跨越科技评价马拉河领头角马。当前,破四唯困局依然严重,包括中科院研究所、“双一流”高校在内的学术高地仍然任务而道远,需要更多挺身而出的领头角马


为配合这些学术高地(特别是高校)在改革评价制度上的探索,需要政府深化放管服,减少政府奖项、人才帽子评定、资源配置上不必要的竞争评价等;同时,规范社会上过多过滥的排名评价,逐步让科学共同体承担起在科技评价方法和导向改进上应有的责任,从而为学术高地探索破“四唯”预留足够的空间和自主权。(作者:李晓轩、徐芳,中国科学院科技战略咨询研究院中国科学院大学;《中国科学院院刊》供稿)

返回顶部