关于财政绩效评价综合打分制方法的思考
|
|
中国网／中国发展门户网讯 2018 年，《中共中央 国务院关于全面实施预算绩效管理的意见》要求政府管理部门和有关执行部门必须树立“花钱必问效、无效必问责”的绩效管理理念，强调财政投入的有效性和投入产出的绩效观，这标志着我国进入了绩效管理的新时代。绩效评价是绩效管理的核心环节，如何科学地开展财政绩效评价，成为新时代绩效管理面临的首要问题。财政绩效评价综合打分制方法以其标准化、透明化、简单易行等特点在绩效管理推广初期起到了重要作用。但是，随着实践的推进，综合打分制方法难以准确反映绩效实质的问题也日益凸显。那么，应如何认识财政绩效评价综合打分制方法的问题与挑战？如何改进或替代综合打分制绩效评价方法，以满足新时代全面预算绩效管理的需求？本文从财政绩效评价综合打分制方法的概念与应用出发，分析提出综合打分制方法面临的问题与挑战，结合国内外的探索与实践，提出相关改革思路。
财政绩效评价综合打分制方法的概念及其在我国的应用
财政绩效评价综合打分制方法的概念与内涵
综合打分制绩效评价方法来源于统计学中的综合评分法，其核心是根据评价对象的不同等级赋予不同的分值，并以此为基础进行综合评价。该方法适用于评价指标无法使用统一的量纲进行定量分析的场合，而以无量纲的分数进行综合评价。该方法广泛应用于政府采购评标、专业技术人员职称考核等场合。财政绩效评价实践中的综合打分制绩效评价方法，将多维绩效整合于单一的指标化的方法体系中，采用逐项打分的方法评价多维绩效目标的完成情况，并将多维绩效得分加总，形成定量的绩效评价结果，最终以分数或分档的形式体现。综合打分制绩效评价的过程一般分为 4 个步骤：根据收集、整理的证据和设定的打分标准，对各项评价指标进行百分制打分；对每个评价维度的各项指标得分进行加权平均，算出每个评价维度的加权得分；根据每个评价维度的得分和权重，算出评价对象的总体得分；根据总分及分档设置标准，确定受评对象的绩效等级。
以财政部 2020 年印发的《项目支出绩效评价管理办法》为例，绩效评价包括单位自评、部门评价和财政评价 3 种方式。单位自评指标既包括表征项目经费管理绩效的预算执行率，也包括表征项目的产出、效益、满意度等绩效指标；单位自评指标的权重原则上是统一设定的，分为预算执行率 10%、产出指标 50%、效益指标 30%、服务对象满意度指标 10%；单位自评采用定量与定性评价相结合的比较法，根据指标完成值与指标设定值的比例程度记分。部门和财政绩效评价指标包括能全面反映项目决策、项目和资金管理、产出和效益的指标，各项指标的权重可体现差异性，但原则上产出、效益指标权重不低于 60%；部门评价和财政评价主要利用成本效益分析法、比较法、因素分析法等，对指标进行打分。部门和财政绩效评价结果采取评分和评级相结合的方式，通过单项打分、累计加总的形式得出绩效评价的分数结果，进而进行分档。一般将总分设置为 100 分，等级划分为 4 档：90（含）—100 分为“优”、80（含）—90分为“良”、60（含）—80 分为“中”、60 分以下为“差”。
综合打分制在我国财政绩效评价中的应用
综合打分制方法贯穿于我国财政绩效评价的各个阶段，广泛存在于农业、教育、科技等各个领域。我国财政绩效评价大致可划分为试点探索、全面推进、提质增效 3 个阶段。试点探索阶段自 2000 年财政部成立预算编制改革领导小组开始拉开了财政绩效评价的序幕。2001 年，湖北省财政厅根据财政部的统一部署，率先在恩施州选择了“财政支农”“农业综合开发”等 5 个项目开展财政支出绩效评价试点工作。此次实践形成了一套财政支出绩效评价的指标体系和评价流程，并通过对各级各项指标进行打分呈现出最终的评价结果。全面推进阶段开始于 2003 年，党的十六届三中全会通过了《中共中央关于完善社会主义市场经济体制若干问题的决定》明确提出“建立预算绩效评价体系”，财政部以此为契机，在规范管理化绩效评价的同时，将试点范围逐步向中央和地方全面铺开，评价对象也逐步实现向部门和项目全覆盖，试点领域逐步扩展至教育、社保、科技、农业等领域。相比试点探索阶段，此阶段在评价流程和评价体系上更为规范化、制度化，在评价方法上更加依赖并成熟使用综合打分制。提质增效阶段伴随着全面预算绩效管理的提出而到来，2011 年，财政部在第一次全国预算绩效管理工作会议上首次提出了全过程预算绩效管理的理念，并在之后的几年内相继发文，不断完善财政绩效评价顶层设计。到 2018 年，《中共中央、国务院关于全面实施预算绩效管理的意见》的出台将预算绩效管理上升到国家层面，对绩效评价提出了新的要求。当前阶段，财政绩效评价由传统的“审计查账”转向对经济、社会、生态、可持续影响和服务对象满意度等多种因素的综合考虑，必然要求评价方法的创新。
自财政支出绩效评价试点开始，到全面预算绩效管理下的绩效评价，无论是单位自评、部门评价，还是财政评价，都普遍采用了综合打分制绩效评价的方法。综合打分制在财政绩效评价中形成了一种思维定式与固化习惯，即使该方法在诸如科技、教育等领域并不十分合适，但管理部门和领域专家似乎没有找到可以替代的方法。例如，2020 年 7 月开展的国家杰出青年科学基金绩效评价，由财政部预算评审中心组织专家和第三方机构开展绩效评价工作，依据《项目支出绩效评价管理办法》的要求对决策、项目和资金管理、产出和效益指标进行细化和分值设定，采用因素分析法、专家评分法和公众评价法进行判断，最终由专家对每项指标进行打分，逐级加权求和得出其总分为 92 分，其绩效评价等级为“优”。
财政绩效评价综合打分制方法的挑战
财政绩效评价综合打分制方法自身的局限
综合打分制绩效评价方法以其评价体系的标准化、透明化、简单易操作等特点，对于快速推进绩效评价实践、建立绩效评价制度体系、深化绩效评价理念起到了重要的作用。然而，综合打分制绩效评价方法的局限性也不容忽视，主要问题有 5 个方面。
综合打分制将管理绩效与产出绩效等多维指标融为一体，难以体现绩效实质。综合打分制将管理绩效与产出绩效等多维指标融为一体，采取得分逐项累加的方式，形成单一的分数或分档结果。以科研项目的预算绩效评价为例，产出结果突出、管理绩效一般的项目与产出绩效一般、管理能力突出的项目两者很可能出现绩效评价结果分数一致的情况。引发绩效评价结果掩盖了绩效的实质与问题，偏离了财政绩效评价的目标。
“一刀切”的指标体系难以体现评价对象的差异性，难以体现绩效实质。财政绩效评价的对象特征千差万别，即便对财政科技单项投入而言，也存在基础研究、应用研究、试验发展等多个类型，绩效目标的侧重点差异显著。“一刀切”的指标体系，忽略了对象特征的差异性，难以体现绩效战略目标。
综合打分制方法易于出现评价指标标准化，评价尺度差异化的问题。综合打分制方法受到专家主观判断、评分尺度差异性的影响，即使在标准化的指标体系内仍然出现评价尺度差异较大的问题。而且，最终以分数或分档呈现评价结果的方式，忽略了评价结果的形成过程，难以将评价对象的关键信息或问题揭示出来。
综合打分制绩效评价方法不利于建立绩效管理的文化和氛围。管理者将注意力集中在如何提升自身在既定指标体系中的表现，而放弃了对绩效战略目标的思考及对绩效管理的改进，将绩效评价演变为既定指标上的竞争，偏离了绩效评价“以评促改”“以评促建”的初衷。
综合打分制绩效评价的组织需要消耗大量的人、财、物等资源。综合打分制绩效评价从专家遴选、项目评审到最终的结果审定、分级分档等环节都需要大量的人力、物力投入，并且随着评价对象数量的增加对资源的消耗呈几何基数增长，给评价的组织方造成了较大的压力。
美国废止了财政绩效评价综合打分制方法PART
在财政绩效评价中采用综合打分制方法是国际上开展财政绩效评价实践初期的通用做法。美国联邦政府作为政府绩效评价实践的先行者，在 1993 年通过《政府绩效与结果法案》（Government Performance and Results Act，GPRA）后，于 2003 年由美国总统预算管理办公室（OMB）开发了一套“项目评价评级工具”（Program Assessment Rating Tool，PART），用以评价联邦政府财政支出的实施绩效。
PART 以综合打分制为核心，建立了通用的财政绩效评价框架与指标体系。从评价指标及权重设置来看，评价指标由项目的目的和设计、战略计划、项目管理和项目结果 4 个一级指标构成。其中，项目结果所占权重最高，为 50%；其次为项目的目标和设计、项目的管理，权重均为 20%；权重最低的为项目的战略计划，所占权重为 10%。PART 一级指标下设 25 个基本问题及若干附加问题。其中，基本问题为所有被评项目的通用指标，附加问题则是基于项目类型差异而设置的个性化指标。基于项目类型差异，PART 将美国联邦政府资助的项目分为直接联邦项目、竞争性联邦项目、稳定拨款项目、基于法规的项目、资本资产和服务获取项目、信用项目及研究发展项目 7 个类型，并设置若干相应的附加问题。从评价流程来看，项目的主管机构首先需要以“是/不是”回答 PART 指标体系中的问题，并提供相应的证据和数据支撑；进而，由 OMB 对主管机构的回答给予 0—100 分的评分；而后，将评分转化为 4 个评价等级，包括“有效”（85—100 分）、“中度有效”（70—84 分）、“勉强有效”（50—69 分）、“无效”（0—49 分）。
随着 PART 不断推进与实践，其问题不断凸显，于 2008 年被废止。实施初期，PART 以其评价体系的标准化、透明化、易于推行等特点得到了公众与管理层的认可，这对于快速推动 GPRA 法案的落地，深化政府绩效评价的理念起到重要的作用。截至 2007 年，PART 评价方法已基本覆盖美国联邦政府财政支持的所有项目的绩效评价工作。然而，随着实践的深入，PART 自身指标化、打分制的理念受到众多质疑，特别是“一刀切”的评价标准忽略了评价对象的个体差异性，评价结果主观性过强、评价成本过高等问题日益凸显。2008年，奥巴马政府上台后，全面改革政府绩效评价的理念与方法体系，废除了以 PART 为核心的综合打分制绩效评价方法，构建了新的基于证据的绩效评价理念与方法体系。
财政绩效评价综合打分制方法的问题在科技领域的表现尤为突出
财政绩效评价综合打分制方法的问题在不同领域的表现有所差异。在产出易于量化、易于横向比较的领域，其问题并不突出。但是，对于产出难以量化、目标难以测度和横向比较的科技领域，特别是基础研究领域，综合打分制评价方法的问题较为凸显。科技活动不同于一般财政资助的其他活动，具有成果形式的多样性、效果影响的延迟性、投入产出的不确定性等特征。对于科技活动特别是前端的基础科研活动能否开展绩效评价，以及如何有效开展绩效评价一直是各国在管理实践中面临的突出问题。
在美国的实践中，1993 年美国联邦政府出台GPRA 法案之时，便在科技界、政策界引发了广泛的关于“基础研究投入能否开展绩效评价？”的争论。2003 年 PART 方法出台后，对于其在科技领域是否适用的问题，也引发了讨论，最终在实践中为研究发展项目设立了单独的附加问题，且在对美国国家科学基金会（NSF）的绩效评价中采用了“亮点”（highlights）评价的方式，形成“50项亮点工作”（Beauty 50s）作为 NSF 绩效结果的佐证。2008 年 PART 方法废止后，由美国国立卫生研究院组织学术界、政策研究界、政府部门共同开展了关于如何开发新的研发（R&D）投入绩效评价方案和模型以提高科学管理能力的研讨会，探讨美国联邦政府财政科技绩效评价的新方法。
在我国，虽然从 2000 年起便在财政绩效评价中采用了综合打分制的评价方法，但是在 2010 年国家自然科学基金成立 25 周年的绩效评价之时，在深入探讨“如何开展政府基础研究投入绩效评价”问题的基础上，并未采用综合打分制的绩效评价方法，而是选择采取“机构自评+国际同行评议”的方法，以找亮点工作和关键问题及其证据为抓手，开展基础研究领域的财政绩效评价。
改革财政绩效评价综合打分制方法的思路
那么，针对财政绩效评价综合打分制方法中存在的问题，特别是财政绩效评价综合打分制在科技领域面临挑战的问题，如何寻求解决思路？基于对问题的分析及对国际实践的梳理，我们认为可从3 个方面着手。
理念上更加强调绩效评价的方法应服务于绩效管理的战略目标。绩效管理是由绩效目标与计划、绩效监督与评价、绩效结果与反馈所构成的闭环，绩效评价只是上述闭环中的一个环节。绩效评价方法的选择不仅要兼顾科学性、合理性和可操作性，更要服务于绩效管理的战略目标，并随着绩效管理进入不同阶段而动态调整。随着绩效管理的不断推进，提升绩效评价质量，服务于绩效管理的战略目标，成为绩效管理改革的新理念。例如，美国联邦政府对政府绩效评价纲领性文件《政府绩效与结果法案》（GPRA）的修订，就突出体现了这一理念的转变。2011 年，奥巴马总统签署通过了《政府绩效与结果法案 2010 修正案》（GPRAMA）作为 GPRA 的修正条款，以保证 GPRA 的长期影响力。GPRAMA 的修订重点体现在：突出绩效目标在绩效评价与管理中的作用。绩效目标的设置是开展绩效评价与管理的基础与方向，绩效评价方法的选择，同时也应服务于绩效目标。强化绩效评价结果的应用，明确规范未达成绩效目标的整改措施，以保证绩效评价“以评促改”作用的切实发挥。完善政府绩效评价的管理框架，更有效地指导政府绩效评价工作的展开。GPRAMA 改革了原有综合打分制的绩效评价方法体系，将绩效评价方法回归服务绩效评价目标的定位，实现以方法服务于使命的目标。GPRAMA 的核心在于绩效评价重点聚焦战略性目标的评价，而不是过去 PART 方法面面俱到的分点累积。
借鉴基于证据的绩效评价等新方法，构建满足财政绩效评价管理需求的新的方法体系。未来在新的绩效评价方法体系中应通过收集大量的数据、事实证据，以“基于证据+专家研判”的方法来评价绩效目标的达成情况，并强调基于绩效评价结果的管理改进。新的方法体系适用于机构、计划、项目等不同对象的绩效评价。在机构绩效评价中，采取高优先级绩效目标评价的方法：基于对机构自身使命定位的认识与理解，结合国家需求在 5 年期规划中制定 3—8 项机构层面的高优先级绩效目标，并提出实施方案。实施方案中包括高优先级绩效目标的责任人及对高优先级绩效目标的年度分解方案。在绩效评价中，提出可靠的绩效测度标准与指标，定期采集评价所需的数据，开展基于数据与事实的绩效评价。在测度标准与指标的选择中，首先考虑是否存在成熟可靠的做法。如果存在，则验证该方法在本绩效评价中的可重复性；如果没有现成的方法，则需要考虑试验、开发新的方法。上述做法是为了寻求行之有效的、适合绩效目标的方法体系（图 1）。通过评价结果公开的方式接受全社会的监督。项目层面的绩效评价则成为机构层面开展高优先级绩效目标评价的基础，为机构层面的绩效评价提供数据与事实。
以 NSF 的绩效评价为例，2018—2022 年度，NSF 共提出 3 项机构高优先级绩效目标（表 1）。其中，2019 年度，支撑高优先级绩效目标评价的基础数据和证据均来自于 NSF 项目绩效管理的《科研绩效阶段报告》（Research Performance Progress Reports，RPPR）。PRRP 代替了原有的项目报告，采取临时报告、年度报告、终期报告的方式描述科研项目的组织、成果、进展、影响力、经费等信息。新的绩效评价方法体系以服务于绩效目标、改进绩效管理为目的，基于项目特点选取事实证据，采用多方专家研判的方式，判断绩效目标的完成情况并提出管理改进建议。
在财政绩效评价综合打分制问题凸显的科技领域，可多采用科技评价实践中已经形成的好方法。科技评价经过多年的实践与探索，形成了丰富的理论体系与实践经验。例如，当前中国科学院研究所评价所采用的以同行评议为核心的重大产出导向评价体系，通过“两个环节、一个基础”，对研究所进行全面诊断。这是中国科学院在借鉴和比照国际经验的基础上，结合自身特点与发展规律，提出的新型同行评议模式，其特点是重在诊断，借助同行专家的力量帮助研究所发现问题、把握方向、改善管理，提高实现重大成果产出的效率；该模式采用了和美国 GPRAMA 中高优先级目标评价相似的一种方法。在机构评价这一复杂的问题体系中，选取其最为关键的定位、少数的重大产出和重点培育方向，作为评价的重点，而且是分项评价。将人才培养、资金管理、管理创新等作为辅助评价的维度，以突出研究所评价的重点与核心。可见，科技评价中积累的方法体系已经为财政绩效评价提供了丰富的方法库和案例库，可结合财政绩效评价的需求，合理选择绩效评价方法，构建满足新时代财政绩效评价管理需求的绩效评价方法体系。
结语
我国自 2000 年试点开展财政支出绩效评价以来，经历 20 年的实践，已基本建立了财政绩效评价制度体系与方法框架，“花钱必问效，无效必问责”的理念深入人心。新的政治、经济及社会形势，对改革绩效评价方法，提高绩效评价质量提出了新的要求。基于对打分制绩效评价方法的概念与应用、问题与挑战及新的理念与方法的分析，作出以下判断。
财政绩效评价综合打分制方法难以满足财政绩效评价高质量发展的需求。综合打分制绩效评价方法以其标准化、透明化、简单易操作的特点，对快速推动绩效评价工作，深化绩效评价理念起到了重要的作用。我国经过 20 年的绩效评价管理实践，已基本建立起财政绩效评价体系，积累了较为丰富的财政绩效评价实践，基本实现了财政绩效评价的“全覆盖”，已由绩效管理的全面推进阶段进入高质量发展阶段。高质量绩效管理对绩效评价方法提出了更高要求，综合打分制绩效评价方法已完成其历史使命，新时代亟待构建新的方法体系。
财政绩效评价综合打分制方法特别是难以体现科技财政绩效评价的特点。高质量绩效管理阶段弱化了对评价方法表面形式化、合理性的需求，而是强调评价方法能够体现绩效实质，进而有助于促进基于绩效结果的管理改进。综合打分制绩效评价方法以多维绩效指标、逐项累加形成单一结论的方式，模糊了绩效的战略目标、难以体现绩效实质。该方法在科技领域的应用，问题尤其突出。由于科技活动自身过程复杂、产出不确定性强，导致科技绩效具有目标不确定性、绩效标准不可量化等特点。因此，形式化、结构化的综合打分制绩效评价方法尤其不适应科技财政绩效评价的需求。
应注重“基于证据的绩效评价方法”和高优先绩效目标评价方法在绩效评价中的应用。美国联邦政府以“基于证据的绩效评价方法”取代了以 PART 为代表的综合打分制绩效评价方法。我国在新时代财政绩效评价体系改革中可借鉴“基于证据的绩效评价”理念，构建“基于证据+专家研判”的绩效评价方法体系，评价财政绩效战略目标的达成情况。对于参与绩效评价的专家，采取专家库的管理模式，改变目前一次性评价所带来的问题，构建跟踪式、负责任的专家研判体系。有效发挥第三方机构在绩效评价中专业化的职能，采取“准入资质”管理模式，全面提升绩效评价方法体系的质量。同时，美国 GPRAMA 中高优先级目标评价实践和中国科学院以“一三五”目标评价为特征的重大产出导向评价体系，都是高优先级目标评价方法的成功案例，值得借鉴。（作者：阿儒涵、程燕林、李晓轩，中国科学院科技战略咨询研究院 ；高军，中国科学院；韩凤，中国财政科学研究院芹；《中国科学院院刊》供稿）