科研人员绩效评估综述

  • 长城战略咨询
  • 2005-02-28


摘要: 研究了科研人员绩效评估的含义和重要意义,对目前常用的绩效评估方法(同行评议法、文献计量学方法、目标管理法)进行了说明,并分析了他们在科研人员绩效评估中的应用及其优缺点。

关 键 词:科研工作;绩效评估;同行评议;文献计量学;目标管理法。

1. 科研人员绩效评估的含义

科技人员科研绩效评估就是对科技人员所从事的科研活动和所采取的科研成绩进行定性与定量有机结合的综合评估,是现代人力资源管理中的一个重点和难点,它可以为奖惩、晋升、选拔等多种人力资源管理决策提供重要的信息依据,因此其导向作用、激励作用、监督作用、鉴定作用的意义十分明显。科技人员绩效评估的测量现在已经被科研管理者普遍接受,并且正在不断地向着深度和广度发展。无论是测量理论还是测量的方法都有了长足的进步和发展。

科研人员在科学研究6大要素之中居于首位,是科研机构或科研群体中起决定性作用的成分在某种程度上决定了科研机构或群体的科研业绩,因此,对科研人员的科研工作绩效的测量,是科研绩效评估工作的基石。由于科研劳动的复杂性,科研劳动成果的表现形式具有多样性和多变性,所以评价科研劳动者业绩的科研绩效测量评价体系是一个受着多种变量和过程的影响,极其复杂的有机开放性技术体系。[1]对于不同的评价目标及所评价的内容,采用的评价方法有所不同。这里,拟定确定的评价对象是高校教师个体的科研工作绩效,测量的目的在于对教师个人科研活动的贡献做出评价。因此绩效测量的内容必须能够表征这一评价的总目标。

评估工作实行定性评估和定量统计数据相结合, 以定性评估为主;学术专家与管理专家相结合,以学术专家为主。评估工作除报道有关书面材料外,专家组进行实地考察,了解和听取有关情况和建议。评估的主要内容包括实验室研究工作的方向和意义,承担科研任务,完成情况及成果水平,队伍建设和人才培养,开放程度,管理水平等。实验室评估是目前我国科技评估工作中比较系统的工作。中国作为一个以经济发展为中心,急切追求经济进步,科学发展水平与发达国家又有较大差距,经济和科技资源都有限的国家,科学研究的评估对我们的经济发展和技术进步都有着重要的意义。[2]

2. 科研人员绩效评估常用方法分析

2.1. 同行评议

尽管存在各种各样的批评意见,同行评议仍然是基础研究绩效评估中最常见也是最重要的方法。[3]

同行评议是由从事该领域或接近该领域的专家来评定一项研究工作的学术水平或重要性的一种方法。国内学者对同行评议的定义有:同行评议是“由该领域的科学家或邻近领域的科学家以提问的方式评价本领域研究工作的科学价值的代名词,进行同行评议的前提是在科学工作的某一方面体现专家决策的能力,而参与决策的专家必须对该领域的发展状况、研究活动程序及研究人员有足够的了解。 “同行评议指的是,某一或若干领域的专家采用一种评价标准,共同对涉及上述领域的一项事物进行评价的活动。”几乎所有定义都十分强调专家在同行评议中的关键性作用。

同行评议的优势是,专家代替了科学外行拥有了对学术问题的决策权。同行评议是科学研究管理中一项非常重要的制度安排,操作得当的同行评议能够对科学研究发挥巨大的激励和支持作用。[4]同行评议应该贯彻的原则是:公开性、公正性、可靠性、效用性和经济性。目前,同行评议主要用于五个方面:①评审科研项目的申请;②评审科学出版物;③评定科研成果;④评定学位与职称;⑤评议研究机构的运作。由于同行评议决定着科技界的社会承认、荣誉归属、资源分配与利益分配,因此在职业化的学术生活中显得格外重要。[5]

尽管同行评议在科学界发挥着巨大的作用,但存在的问题也比较明显,这些问题大致可分为两个方面:
其一,同行评价的公正性和准确性严重受制于专家的学识和品质。同行评议的前提是:参与评议的专家在待评项目所涉及学科领域确有较深造诣、并且能公正、清楚地作出自己的判断,而这一点恰好很难控制和达成共识。

其二,同行评议存在一些内生的、自发的不良倾向,这类倾向靠严格挑选专家甚至都很难控制:共识决策和有限经费助长保守的思考和选择;过高的业绩权重和知名度影响不利于年轻科学家脱颖而出;学科分类管理促成了学科壁垒,不利于学科交叉;可能导致难以防止的侵权行为;评审成本较高。
此外,同行评议存在着其他问题,至今也没有一致公认有效的评议方法。例如:难以杜绝的剽窃行为、不利于支持创新性的非共识项目或专题等。

针对同行评议存在的种种问题和国内的实际情况,我国学术界提出了不少改进建议,旨在完善对同行评议的有效规约机制,概括起来包括:严格选择专家,要求专家就对项目的了解程度作自我评价,保证评价人在项目涉及学科领域确有造诣,尊重项目研究者有提名他(她)认为合适的专家以及他(她)认为不适宜参与评价的专家名单的权利;跟踪评审专家的评审质量,将那些评审结果“奇异”而又不能给出有说服力的解释的专家淘汰出专家库[6];谨慎对待专家的评价结果,成果或其中某个指标如果被个别专家评价过高或过低都应该引起重视,并要求专家作出说明;建立“申请思路专利”档案,保护申请人的知识产权不受侵犯;采用多级同行评议,一个项目的评审,需要经过同行专家通讯评议、学科综合意见、学科评审组会审三个环节,由同行专家、评审会专家和学科管理人员三者形成相互依赖、相互制约的决策群体;对于学科交叉、全新研究领域以及争议较大的研究项目,在可能的情况下可以采用“面对面”公开答辩的方式听取意见,确保创新项目得到公正准确的认识和评价;建立健全回避、受理申诉、仲裁和违纪处理的机制;同行评议不应泛化,在某些情况和某些领域不宜使用同行评议,而应采用其它方法或与其它方法配合使用;控制同行评议的成本,包括适当放宽对准确率的要求,完善预评估和形式审查环节,加强对评估活动的科学管理等。

2.2. 文献计量学

文献计量学起源于20世纪初,是以文献为主要研究对象,采用数学、统计学方法对文献进行定量分析。通过对待定专题文献的分布与数量增长情况、数量与时间的关系、文献之间的引用情况等,研究文献的变化规律,从而探讨科研的某些结构、特征和规律。因此产生了用文献计量学研究方法对科研活动进行评价的可行性和可能性。[7]目前,国际上对于文献计量学、科学计量学的讨论和研究是相当热烈的,每年都有相关的国际性会议进行交流和探讨。

文献计量法广泛应用于科学研究活动的定量评价方法。它利用的文献特征主要有: 科技论文(专著) 的数量与分布、科技论文的引证、引用率、平均被引次数、文献的半衰期等。在澳大利亚产业和科学技术部的有关澳大利亚科学技术的评价报告中, 就充分利用了这些计量指标。可以用来计量的对象一般包括:完成的论文、专著、专利的数目,发表、申请或受理情况;文献被检索系统收录情况;文献被引用情况;一些衍生指标,例如获奖情况等。

文献计量学方法一般着重探讨文献增长规律、引文分析、期刊影响因子等几个方面的问题,希望通过文献的这几个方面来判断文献的定量价值。其中,期刊影响因子是一个重要的量化指标,但由于影响因子自身计算方法的局限性,仅凭影响因子一个量化指标做出的评估鉴定往往具有不可靠性和片面性,因此对于影响因子的应用,要在正确理解影响因子及其存在问题的基础上,合理地、科学地加以使用,同时可以结合其它量化指标,建立科学的评估方法体系。首先,文献产出量应该仍然作为评估的一个重要的量化指标。其次,鉴于采用期刊影响因子作为量化指标的一些欠缺,可采用其他指标作为参考指标。应将综述文献和其他类别文献为主的期刊区别对待,不能仅凭影响因子一个指标做出结论;考虑期刊引用周期的影响,建议采用累计影响因子作为参考指标;针对影响因子计算仅仅采用两年数据的问题,有学者提出以长期引用数计算出来的累积影响因子来替代目前的影响因子的计算方法。由于长期影响因子的学术水平高低不可靠,加以考虑时间因素的影响,可以考虑采用累计影响因子作为参考指标。由于受到不同专业学科性质的影响,有人提出范围调节影响因子(Scope Adjusted Impact  Factors ,SAIF)。[8]采用范围调节影响因子作为参照指标可以避免如交叉学科被引用频次较高的影响。他的计算方法是SAIF=IF/引用期刊数×1000。引用期刊多,范围调节因子小,即被多学科广泛引用的期刊的排序退后,而以某一专业为中心,被少数期刊引用的期刊的排序则上升,最后,综合其他评估方法。

几年来很多人在科技文献评价方面开展了评价指标的研究、评价指标权重的研究、建立数学模型、评价分类方法研究、综合指数评价法的合理性研究,形成了“综合指数评价法”。“综合指数评价法”是从评价科技期刊入手,评价期刊的指标是来自该刊全部论文的统计数据,因此评价期刊的质量指标值——“综合指数”也是该刊论文的平均指标值。用“综合指数”来反映科技文献的质量水平,从而为科学研究的定量评价及绩效评估创造了条件。

引文分析法是测定核心期刊常用的方法之一,“综合指数评价法”是建立在引文分析法基础上的一种多指标的方法,用“综合指数评价法”确定的核心期刊既符合加菲尔德引文集中规律,又可以利用多项指标的综合信息对期刊进行综合评价,它能较全面反映期刊的学术水平和影响程度;既能评价多学科的科技期刊,又能评价某一学科或某一领域的科技期刊,能较全面反映期刊的学术水平和影响程度;既能确定某一学科或某一领域的核心期刊又能确定多学科的核心期刊。“综合指数评价法”把自引影响降低到最低水平,综合指数作为定量评价指标,不仅可以预测科学研究的发展趋势,且可以反映当前热点。综合指数作为绩效评估的质量指标以及组合的效率指标为绩效评估创造了条件。

2.3. 目标管理法

目标管理的应用非常广泛,很多人将它作业务种计划和控制的手段,它还可以作为一种激励员工或评价绩效的工具。目标管理是一种基本的管理技能,它通过划分组织目标与个人目标的方法,将许多关键的管理活动结合起来,实现全面、有效的管理。[9] 目标管理应用最为广泛的是在企业管理领域,但是在科研人员评估领域,也可以得到应用并取得良好的效果,尤其是结果反馈和激励方面,目标管理法有着独特的优势。

目标管理的主要作法是:由组织中上级和下级管理人员一起制定共同的目标;同每一个人的应有成果相联系,规定他的主要职责范围;以这些规定为指导,评价一个部门或每一成员的贡献情况 。由于这种作法特别适合于对各级管理人员的管理,故被称为“管理中的管理”。目标管理的特点在于它既纠正了古典管理学派偏重以工作为中心、忽视人的一面,又纠正了行为科学学派偏重以人为中心,忽视同工作结合的一面,把工作和人的需要统一起来。它能使职工发现工作的兴趣和价值,在工作中实行自我控制,通过努力工和满足其自我实现的需要,组织的共同目标也因之实现。目标管理可分为以下3个阶段:(1)制定目标。共有五个步骤:准备;由组织的高层以领导制定战略性目标;在各级管理阶层制定试探性的策略目标;各级管理人员提出各种建议,相互进行讨论并修改;就各项目标和评价标准达成协议。(2)实现目标。在一般监督下为实现目标乾地过程管理。这主要是职工的自我管理和自我控制,上级只对例外发生的重大问题进行指导和控制。(3)对成果进行检查和评价,即把实现的成果同原来制定的目标相比较。经过3个阶段的循环往复,不断提高管理工作的质量。

利用目标管理法进行科研人员绩效评估,第一步就是确定评估指标即确定科研人员工作绩效目标以及评判目标实现情况的等级分类。在科研人员绩效评估指标体系中,通过与科研人员的广泛协商和讨论,确定客观的实际可能实现的目标(指标),建立各类不同职务的科研人员绩效评估指标等级表。第二步,科研人员根据确定的目标(指标)制定计划,具体实施。第三步,科研院所的各职能部门对科研人员在实施目标时的工作情况进行检查,协助解决科研人员在实施目标过程中遇到的问题和纠正出现的失误及偏差,并将结果记录下来。第四步,在规定的目标实现期限内,对科研人员的目标实现情况进行评估,并将评估结果记录下来。评估完成后,绩效评估小组将最后确定的评估结果通知本人,并和他们一起讨论今后的发展目标,确定下一个评估期限的目标,指出他们在绩效评估中反映出的问题和不足,帮助他们加以改正和克服,同时对他们在工作中的突出表现加以表扬,以激励他们的进取心。绩效评估委员会将每个科研人员的评估结果归入其本人的业绩档案,作为其今后晋升职务、奖励工资和培训的依据,对评估结果不好的科研人员进行批评教育,从而达到评估的目的。

3. 结论

科研人员绩效评估是广受关注而且发展迅速的一门学科,尤其是在文献计量学、科学计量学方面的应用得到了国内外专家的广泛关注。各种相关的学术理论、方法也层出不穷。

但是从我国目前的情况来看,各种新的理论、方法并没有得到广泛应用。各个科研单位、高等院校所采用的很多还是老的方法,例如简单同行评议法和评经验出指标权重的量化打分法。这些方法必然存在着诸如主观性、评价指标内涵重复、重视论文数量轻视质量等问题。要解决这些问题,需要我们的科研单位和高等院校的科研管理部门充分重视科研人员绩效评估工作在科研单位日常管理工作中的重要地位,并做好绩效评估工作之后的反馈工作,使科研工作者通过绩效评估了解自己的长处与不足,并可以经过相关的学习、培训完善这些不足,使得整个科研队伍的整体素质可以得到不断提高。

参考文献

[1]  刘多,李学志,刘文达.高校自然科学科研量化评估指标体系的设计 [J] 科技研究管理,1998 ,1.
[2]  吴述尧. 同行评议方法论[M]. 北京科学出版社,1996.
[3]  朱献有,金碧辉,汪冰.中国科学计量指标.论文与引文统计(1998年卷)[R].中国科学院文献情报中心,1998.
[4]  蔡言厚,李卫,兰云.用科学计量法评估高校科技工作的两种指标集的比较[J].科研管理,2001, 22(5).
[5]  徐北妮.AHP法在多视角绩效评价中的应用[J].自然科学报,2003,17(3):50-54.
[6]  王孝宁、何苗、郭继军、何钦成 《我国科技人员科研业绩综合评估现状与分析》,中国医科大学图书馆、医学信息系,《情报学报》,2002年10月第21卷第5期,636-640
[7]  丁福虎 《科研绩效评估的理论与方法》,河南技术师院,河南辉县,《科技管理研究》,2000年第3期,45-47
[8]  杨化兵、叶春峰 《论影响因子及其在科研评估等方面的应用》,人民军医出版社、西安医科大学,《情报方法》,2001年第1期,32-34
[9]  谢合明.高校院(系)绩效考评的综合评价[J].西南民族学院学报(哲学社会科学版),2001,22:20-23