叶继元：“全评价”体系分析框架及其应用与意义

【#文档大全网# 导语】以下是®文档大全网的小编为您整理的《叶继元：“全评价”体系分析框架及其应用与意义》，欢迎阅读！

叶继元：“全评价”体系分析框架及其应用与意义

作者：暂无

来源：《云梦学刊》 2013年第4期



叶继元

（南京大学中国人文社会科学评价国家创新基地，江苏南京210023）

“全评价”体系分析框架是笔者及其团队于2010 年初正式提出的有关学术评价理论探讨的成果。该体系认为，有组织的学术评价体系至少由评价主体、评价客体、评价目的、评价方法、评价标准及指标、评价制度六大要素组成，每一大要素又可以分成几个要素，各要素之间相互作用、影响。这些要素复杂多元，其中评价目的是龙头，它决定着其他五大要素及其他要素的选择。比如是优中评优的评价，还是基本合格评价，不同的评价目的决定选择什么样的评价主体，评价客体如何分类，采取何种评价方法、标准和指标，匿名还是具名、是否需要申诉、复议等评价制度。如果是全国性优中评优有名额限制的评价，就要选择国内外一流同行专家学者作为评价主体，评价客体即对象的分类要根据名额来设置，要以定性评价法为主，以创新性、复杂性等学术标准及指标为主，评价结果的公示、申诉、复议、评审专家的信度考察等程序与制度就应设计和实施。评价主体中的同行专家学者是评价的主导，评价标准及指标是核心，评价方法是实现评价目的的工具和手段，评价制度则是评价的保障和基础。目前国内许多评价之所以没有达到奖勤罚懒、褒优贬劣，激浊扬清、调动研究人员积极性的目的，其中一个主要原因，就是没有明确评价目的，并根据评价目的来选择评价主体、方法等，复杂的评价被简单化，而简单的评价又被复杂化。

该体系还认为，目前常用的是定性评价和定量评价二元评价法，除此之外，还可以将二元评价扩展到三维评价，即形式评价、内容评价和效用评价。

形式评价可以是定性或定量的评价，一般是从评价对象的外部形态进行的评价，常常用数据表示评价结果，如有多少教授，发表多少文章等。内容评价是指同行专家学者针对评价对象实质性内容的评价，一般要花较多时间和精力对文本、成果实体进行深入解读、分析，对其逻辑性、学理性、思辨性、解释性、预见性等进行评价，常常用文字评语来表达，如此学者是一流学者，此成果具有高质量等。效用评价是指对评价对象的实际贡献、社会和经济效益、应用结果、人们思想变化等的评价，它依赖于一段时间或较长时间的评价，是“进行时”或“未完成时”，可以用数字，也可以用文字来表述。大体说来，形式评价对应于文献计量评价，内容评价基于同行专家学者评价，效用评价则依赖于实践和历史评价或检验。文献计量评价包含一般大众同行专家的评价，内容评价更多是经过挑选的精英同行专家学者的评价，效用评价涉及学术实践和学术“市场”的评价和检验，形式、内容和效用评价的概念组合可以较好地将大众同行评价、精英专家评价和“市场”评价和检验统一起来，既可以是评价方法，也可以以此形成评价标准和一级评价指标。形式、内容和效用评价，从低到高，从相对简单到相对复杂，可以根据不同的评价目的，评价的难易程度，加以选择、组合和应用，以避免评价中过分形式化、数量化、行政化、简单化等倾向。

该体系是在较详细考察了国内外近年来的评价实践基础上概况出来的，既参考了自然科学评价的成果，更注重人文社会科学的特点及其评价的特点曰既考虑到学术评价的普适性，更突出不同学科、不同领域、不同成果等的多样性、特殊性曰既有相对稳定的分析框架，又留有动态的发展空间。该体系能较合理地分析国内外学术评价的历史，较清晰地解释目前学术评价的现状、问题和应采取的对策，也能大致预测学术评价的今后走向。该体系甫出，就引起学界、


管理界、评价界、期刊界的反响。《新华文摘》（2010 年第10 期第161 页）、《高等学校文科学术文摘》（2010 年第2 期第61-62）、《光明日报》（2010 年08 月03 日学术版）、国家社科基金全国哲学社会科学规划办公室网站（2011 年05 月09日）、《中国社会科学报》（2010 年03 月18 日）、《社会科学报》（2011 年11 月08 日）等进行文摘、转载和报道。有的评论者认为，“《继元对评价体系的构想既是他多年研究的结晶，也是对学界对学术评价现状反思成果的吸纳，特别是他提出的评价体系六要素说，即评价主体、评价客体、评价目的、评价方法、评价标准及指标、评价制度，值得学界重视。”（刘翠《也谈人文社会科学评价体系的构建》，《清华大学学报》，2010（5））。有的学者认为，所提出的学术评价的定义“较具学理性、理论性。”“形式评价、内容评价和效用评价的耶三位一体爷组合的观点，既具创新性、学理性，也具有较强的可操作性。”（余三定《关于我国新时期学术评价讨论的评述》，《云梦学刊》，2011（2））。

为了检验该评价体系的可靠性和有效性，笔者及其团队在近几年与有关全国学术性学会、机构合作，对中国经济学学科、学者、论文、著作，对中国高校外国语言学及应用语言学学者专家库及其论著，对中国法学学术期刊质量，对中国图书馆学情报学学术期刊质量与特色，对中国人文社会科学网站等进行了验证性应用评价。从评价结果看，证明该评价体系及其有关推论，诸如评价目的制约论、评价专家主导论、计量平价与同行专家互补论、评价客体分类论、形式评价、内容评价和效用评价层次论等的具有较大的合理性和可操作性。比如，同行专家评价法与引文等文献计量评价法均有其局限性，为了克服这些局限性，一个有效的办法就是引入明确的“评价目的”，这样可以根据评价目的，最大限度地利用二种评价方法的优点而避免其局限，从而达到相对合理、公正的评价。例如像大学、各省市地区、各国文科评价，如果评价目的只是要了解评价对象的部分论文产出及其被引用情况，那么形式评价，或引文等文献计量评价就可大体达到。但如果其目的是要知道评价对象的整体质量情况，那就要在形式评价的基础上，主要进行内容和效用评价，即由同行专家直面评价对象进行审读或对形式评价中有关影响的引文等数据的解读，还要根据其他表明内容质量和效用的非引文等的指标进行综合评价，显然，评价对象的规模越大，工作量也越大，甚至有的评价因为成本太大而简直无法操作。笔者及其团队曾对我国60 种法学学术期刊、39 种图书情报学学术期刊进行全国范围的期刊内容、特色、声誉评价，仅问卷调查表的设计就花了几个月的时间就是证据。因为既想增加问卷的回收率、提问尽可能简单，不占用专家过多时间，又要达到此次评价的目的，在一张调查表上容纳数十种期刊的有关信息，颇为不易，再加上选择调查对象、发放、回收、统计、分析和撰写调查报告，所花费的时间、精力就会更多。何况问卷调查只是内容评价、效用评价中一个很小部分，尚且如此费力，整个评价要实际做起来，没有巨大的人力物力投入是很难达到评价目的。因此笔者认为，在目前很难或不可能收集到有关评价对象全面或最重要的有关质量的信息情况下，要慎重进行质量综合评价，宁可进行评价目的明确的单项、过程性评价，少做或不做整体质量评价或等级排名评价。一旦要做，必须具备充分的人力物力，精心设计，合理组织，搜集较全面的、最重要的有关评价信息，力求“业内公认，同行服气”。否则勉强、仓促的评价，不仅不能反映评价对象的真实情况，反而会给用户和大众以误导，与评价目的背道而驰。

三年多来，经过笔者及其团队不断的反思和评价实践，“全评价”体系分析框架得到了充实和完善，目前笔者正准备正式出版专著，系统阐述“全评价”体系有关原理和应用，希望该评价体系的应用和推广，能够有效遏制目前在学术期刊、图书、论文、项目、机构及学者、研究生等的升等升级、资源分配等评价中普遍存在的过分数量化、形式化、行政化等“六化”问题，真正发挥学术评价的导引和激励功能，达到“引导我国学术研究方向，鼓励形成和强化不同学派、特色和风格，以评促优，推动学术健康发展”的目的。

诚然，评价一个评价体系是否合理有效，一个最重要的标准，当然是“同行是否满意、能否有利于学术健康发展”，而能否有利于学术的发展，不仅取决于是否有一个较为完善的评价体系，更重要的取决于学术共同体能否明智地选择和大胆地应用、推广一个相对合理的评价体系。

本文来源：https://www.wddqxz.cn/c21406ec4631b90d6c85ec3a87c24028905f855d.html