您目前的位置: 首页 >专题网站>双高建设专题网>职教前沿>详细内容

职教前沿

“双高计划”绩效评价指标体系内涵分析与权重确定

来源:《中国高教研究》2021年第4期“高等职业教育研究”栏目 发布时间:2021-05-07 浏览次数: 【字体:

一、引言

  2020年12月,教育部、财政部印发了《中国特色高水平高职学校和专业建设计划绩效管理暂行办法》(以下简称《办法》),这是落实《教育部 财政部关于实施中国特色高水平高职学校和专业建设计划的意见》的又一重要举措,对于提高“双高计划”建设项目资金配置效益和使用效率,确保“双高计划”建设目标如期实现具有重要意义。《办法》设计了三级绩效指标体系,一级指标包括产出指标、效益指标和满意度指标三项,二级指标包括数量指标、质量指标、时效指标、社会效益指标、可持续影响指标和服务对象满意度指标六项。三级指标中,数量指标和质量指标均为“双高计划”建设的“四打造”“五提升”九大任务,每项任务中还包括若干子指标,实际是四级指标体系。社会效益指标包括三个贡献度,即引领职业教育改革发展和人才培养的贡献度,支撑国家战略和区域经济社会发展的贡献度,推动形成一批国家层面有效支撑职业教育高质量发展的政策、制度、标准的贡献度。服务对象满意度指标包括在校生满意度、毕业生满意度、教职工满意度、用人单位满意度、家长满意度五项指标。

  当前有两个问题亟待解决。其一是细化。《办法》的附件1《双高学校建设数据采集表》只细化至三级绩效指标,特别是产出指标中的数量指标和质量指标,其三级指标均为“双高计划”九大建设任务,对于每项任务到底填报哪些关键绩效指标,如何区分数量指标和质量指标,没有更细化的指标体系和指导性意见,因此,各“双高计划”建设院校绩效指标数据填报大相径庭,在中期和最终绩效评价时,很难在“双高计划”建设院校之间进行横向比较,难以实现“双高计划”绩效评价管理的初衷。其二是量化。若使评价指标可比较、可测量,不仅要有统一详尽的指标体系,还要为各项指标合理加权,只有科学、客观、精确地分配绩效评估指标权重,才能实现“双高计划”绩效评价的公平公正,才能使评价结果能够横向比较。本研究在对《办法》进行解读的基础上,重点解决上述两个问题。

二、“双高计划”绩效评价指标体系的特点

  “双高计划”目标要建设一批引领改革、支撑发展、中国特色、世界水平的高职学校和专业群,因此《办法》提出,绩效目标着重对接国家战略,响应改革任务部署,紧盯“引领”、强化“支撑”、凸显“高”、彰显“强”、体现“特”,展示在国家形成“一批有效的职业教育高质量发展政策、制度、标准”方面的贡献度。该指标体系具有如下特点。

  1. 紧盯“引领”。职业教育作为一种类型教育,现有人才培养模式已不能适应新时代发展要求,政策制度尚不健全,标准体系尚不完善,因此《办法》提出紧盯“引领”,即要形成一批有效的职业教育高质量发展政策、制度、标准,形成可复制、可推广、可借鉴的模式、经验,从而实现价值引领、模式引领、制度引领、标准引领。

  “双高计划”要以习近平新时代中国特色社会主义思想为指导,以习近平总书记关于教育特别是职业教育的重要论述为根本遵循,按照德智体美劳全面发展的教育思想,以立德树人为根本,构建德智体美劳全面发展的人才培养体系,以实现德智体美劳五育的内在统一和人的全面发展,大力提升人才培养质量,从而实现价值引领。要牢牢把握职业教育的类型特点,不断适应新技术、新产业、新业态,以职业需求为导向,定准人才培养目标、创新人才培养模式和机制,深化产教融合,强化校企双主体育人,大力推进“三教”改革和1+X证书制度实施,推动人才培养的质量变革、效率变革、动力变革,形成可借鉴、可复制、可推广的模式,从而实现模式引领。

  职业教育作为一种教育类型,必须在国家层面建立一套有别于普通教育的完善的法律、法规、制度,而这项工作尚处于起步阶段。从立法方面看,需要制定与新修订的《职业教育法》相配套的法律法规;从制度方面看,亟需制定和完善职教高考制度、国家资历框架制度、普职融通制度、产教融合(校企合作)制度、职教本科(学位)制度、混合所有制办学制度、公平的升学与就业制度等。“双高计划”建设学校必须加强职业教育理论研究和实践探索,展示在国家“形成一批有效的职业教育高质量发展政策、制度”方面的贡献度,从而实现制度引领。《国家职业教育改革实施方案》提出,要开发国家职业技能等级标准,完善职业学校设置标准,实施教师和校长专业标准,持续更新并推进专业目录、专业教学标准、课程标准、顶岗实习标准、实训条件建设标准(仪器设备配备规范)建设,这就要求“双高计划”建设学校要为国家层面形成完善的职业教育标准体系提供理论依据和新鲜经验,从而实现标准引领。

  2. 强化“支撑”。“双高计划”建设学校要通过人才培养、技术研发、社会培训等路径服务国家战略和区域经济社会发展。党的十九大报告提出了实施科教兴国、人才强国、创新驱动发展、乡村振兴、区域协调发展、可持续发展、军民融合发展等七大国家战略,其中区域协调发展又包括京津冀协同发展、雄安新区建设、长三角一体化发展、粤港澳大湾区建设、长江经济带发展、黄河流域生态保护和高质量发展、推进海南全面深化改革开放等重大国家战略;国家战略还包括“一带一路”国家级顶层合作倡议以及积极应对人口老龄化等。服务国家战略是“双高计划”建设学校必须履行的政治担当。在服务区域经济社会发展方面,“双高计划”建设学校应面向区域重点产业、支柱产业、战略新兴产业和现代服务业,大力提升技术技能人才供给水平、增强技术创新支撑能力,助力区域产业链转型升级和企业技术创新,助推传统产业高端化、智能化、绿色化,推动生产性服务业向专业化和价值链高端延伸。

  3. 凸显“高”彰显“强”。凸显“高”、彰显“强”,是针对数量指标和质量指标的“双高计划”九大建设任务而言的。要坚持高标准定位、实施高水平建设、实现高质量发展,不断提升教育教学质量、技术研发水平、师资队伍水平、校企合作水平、服务发展水平、学校治理水平、信息化水平和国际化水平。“高”“强”的衡量尺度是什么?《职业教育提质培优行动计划(2020—2023年)》的出台,就是要系统解决职业教育吸引力不强、质量不高、服务能力不足的问题,行动计划实施期间,要遴选一大批“三全育人”典型学校、德育特色案例、思政课教师研修基地、思想政治课教学创新团队、思想政治课示范课堂、课程思政教育案例、省域高水平高职学校和专业群、示范性继续教育基地、优质继续教育网络课程、社区教育示范基地和老年大学示范校、国家“万人计划”教学名师、国家级教师教学创新团队、校企双元合作开发的职业教育规划教材、职业教育“课堂革命”典型案例、职业教育信息化标杆学校、虚拟仿真实训基地、职业教育在线精品课程。进入上述遴选名单必然是衡量产出的重要指标,也是衡量“高”“强”的重要标尺。

  4. 体现“特色”。一所高职院校的办学特色是指其在长期办学实践中逐渐形成的适应经济社会发展需求、符合高等职业教育本质规律、比较持久和稳定的发展方式,以及被社会公认的独特、优质的办学特征。人才培养要体现不可替代性,即教育类型的不可替代性——职业性,服务面向的不可替代性——区域性,人才培养规格的不可替代性——卓越性,彰显人才培养特色。坚持校企合作平台的实体化、合作机制的市场化、合作伙伴的高端化、合作模式的多元化,打造校企命运共同体,彰显产教融合特色。健全多元共治的治理结构,深化以章程为核心的制度体系建设,凸显职业教育的类型特点,在“以群建院”二级学院治理、教师聘用管理评价等方面实现重点突破,彰显学校治理特色。

  5. 注重“满意”。办好新时代人民满意的高等职业教育是“双高计划”的落脚点和归宿,“双高计划”坚持以人民为中心的发展思想,发展为了人民,发展依靠人民,发展成果由人民共享。“双高计划”建设成效到底怎么样,有没有促进公平、提升质量,学生说了算、校友说了算、教师说了算、企业说了算、家长说了算,因此满意度指标被列入“双高计划”绩效评价指标体系三大一级指标之一。“双高计划”建设学校必须以学生的发展为中心,大力促进学生的全面发展、个性发展和可持续发展,不断改善教育教学设施、提高教育教学质量,提供高质量管理和服务,加强教师与学生的情感沟通,营造良好的校园文化,大力提升在校生满意度。必须坚持面向未来职场的专业教育理念,坚持职业性和专业性相统一,面向未来职场,培养满足职场能力需求、能融入职场文化、会整合利用职场资源并接受职场检验的毕业生,不断提高毕业生的职场竞争力,大力提升毕业生满意度。创新教师聘用管理的体制机制,建立以业绩贡献和能力水平为导向的评价体系,营造公平竞争环境,为教师的职业发展提供广阔空间,同时不断提升教师待遇水平,注重缓解教师工作压力,建立和谐的人际关系,大力提升教职工满意度。创新产教融合、校企合作模式,大力提升毕业生的岗位适应能力、沟通协作能力、独立工作能力、组织管理能力和创新能力,强化敬业精神与职业道德培养,大力提升用人单位满意度。不断提升学校的知名度和社会影响力,强化教育的增值评价,让在校学生每个学期都有明显的变化,变得更加“阳光”“懂事”,大力提升家长满意度。

三、数量指标和质量指标的内涵分析

  按照传统的统计学定义,数量指标是说明总体外延规模的指标,反映的是社会经济现象的广度,一般用总量指标表示;质量指标是说明总体内涵量的指标,表明总体之间的数量关系,它反映了社会经济现象的深度,一般用相对指标、平均指标和变异程度指标表示。“双高计划”绩效产出的数量指标和质量指标显然不能套用这个概念,不管是数量指标,还是质量指标,都是围绕“引领”“支撑”“高”“强”“特”来设计的,很少有离开质量内涵的数量指标。在本指标体系构建时,笔者大体上将衡量“双高计划”建设任务自身的“高”“强”“特”指标划归数量指标,将得到国家认可或为经济社会作出直接贡献的“引领”“支撑”类指标划归到质量指标。

  1. 打造技术技能人才培养高地。人才培养是高职院校最核心、最主要的职能。该项任务从生源质量、培养过程质量、在校生质量和毕业生质量四个维度构建指标体系,包括数量指标和质量指标。生源质量维度中,数量指标包括录取计划满足率、报到率、第一志愿报考率以及分数高低四项指标,质量指标主要衡量学校招生制度改革、相应国家百万扩招计划等指标,包括分类招生比例、百万扩招人数、招生评价方式改革、校企联合招生人数四项指标。

  培养过程质量维度中,数量指标包括德智体美劳全面培养的通识教育课程体系、教育教学标准体系、取得职业技能等级证书的学生比例、模块化课程、活页式教材、专业课程项目化教学比例、专业课程情境化课堂比例、实施课程思政的比例、学生社团参与度等;质量指标主要归纳了国家级奖项、称号、标准等项目,包括入选“三全育人”典型学校、入选德育特色案例、思政课教师研修基地、思想政治课教学创新团队、思想政治课示范课堂、课程思政教育案例、职业教育国家规划教材、国家教学成果奖、国家精品在线开放课程、职业教育“课堂革命”典型案例、参与开发国家(行业)专业教学标准等指标。

  在校生质量维度中,数量指标需列举5名优秀在校学生并简要介绍其在校学习期间取得的成果(如参加竞赛获奖、参加重要科研项目、取得重要科研成果、创新创业、获得科研奖励或其他荣誉称号等),由专家进行打分评价;质量指标包括学生在国家级各类大赛获奖、获国家级荣誉称号以及取得科研成果和专利等。毕业生质量维度中,数量指标包括就业人数、就业率、升本率、专业相关度、月收入、自主创业比例、雇主满意度、毕业3年职位晋升比例等指标,质量指标需要列举5名杰出校友典型案例,由专家进行评价。

  2. 打造技术技能创新服务平台。技术创新能力是高职学校的核心竞争力,“双高计划”将技术技能创新服务平台列为“双高计划”建设的两大支点之一,引导高职学校以技术技能积累为纽带,促进高校三大职能的有机结合、协同促进。该项任务从科研平台、科研项目和科研成果三个维度构建指标体系,充分体现职业教育类型特色。

  科研平台维度中,数量指标包括技术研发中心、品牌智库和创新创业学院3项指标;质量指标主要包括中国智库索引数(CTTI)、省级培育高校智库、省级人文社科重点研究基地、国家级众创空间、省部级及以上技术工程中心(技术研发中心、科技成果转化中心)、省部级及以上重点实验室、省部级检验(检测、鉴定)中心。科研项目维度中,数量指标包括横向技术服务到款额、纵向科研经费到款额两项指标,质量指标包括国家级课题和省部级课题两项指标。

  科研成果维度中,数量指标包括发明专利授权数、发明专利转让数、技术交易到款额、技术成果转化教学资源比例、关键技术攻关或解决技术难题数、中文核心期刊发表论文、出版学术专著等。质量指标包括国家级、省部级科学研究成果奖,省部级及以上专利奖、技术服务产生的经济效益,职业教育决策咨询建议入编国家级、省级内参,制定区域职业教育发展规划、相关制度,制定地方产业发展规划等。

  3. 打造高水平专业群。“双高计划”要求“发挥专业群的集聚效应和服务功能,实现人才培养供给侧和产业需求侧结构要素全方位融合”,专业群建设是中国特色高水平高职学校建设的关键内容和核心要义。为避免与其他任务指标重复,这里只选取了与专业群直接相关的指标,数量指标包括支撑区域支柱产业专业群比例、专业群资源共享度、基于专业群的人才培养方案和课程体系、基于专业群的1+X证书制度实施机制、以群建院的治理机制、专业动态调整机制等;质量指标包含国家级高水平专业群数量、省域高水平专业群数量。

  4. 打造高水平双师队伍。“双高计划”提出,打造数量充足、专兼结合、结构合理的高水平“双师型”队伍。该项任务从双师队伍、双师平台、双师制度三个维度构建指标体系。双师队伍维度中,数量指标包括生师比、“双师型”教师比例、特聘产业导师、高水平结构化教师教学创新团队、引育高水平专业群带头人、“双师型”教学名师、技能大师、专业教师X证书取证率、新进专业教师具有3年以上企业工作经历的比例等;质量指标包括国家级高水平结构化教师教学创新团队,国家“万人计划”教学名师、全国教书育人楷模、全国模范教师、全国师德标兵、全国黄炎培职业院校杰出校长(杰出教师)、国家级技能大师、全国技术能手等国家级荣誉称号,教师获世界技能大赛奖、中华技能大奖、全国职业院校技能大赛教学能力比赛奖、全国职业院校教师微课大赛奖等奖项。双师平台维度中,数量指标包括教师发展中心、技能大师工作室、名师工作室、校企共建“双师型”教师培养培训基地、教师企业实践基地等;质量指标包括国家级“双师型”教师培训基地、国家级“双师型”名师工作室、国家级“双师型”教师培养培训示范单位、国家级教师技艺技能传承创新平台、国家级示范性教师企业实践流动站、省部级及以上技能大师工作室(技能人才创新工作室)等。双师制度维度中,包括“双师型”教师认定标准、专业(群)师资队伍配备规范、创新教师评价机制、绩效工资动态调整机制、创新兼职教师管理模式、教师企业实践制度等指标。

  5. 提升校企合作水平。校企合作是职业教育的重要特征,从两个维度考核校企合作绩效,一是校企合作平台,打造校企命运共同体;二是校企合作育人,主要考核企业参与教育教学的深度。校企合作平台维度中,数量指标包括深度合作企业数量、高水平产教融合实训基地、基于“1+X”制度建设(升级)职教集团、产业学院、混合所有制二级学院、校中厂、厂中校等指标;质量指标包括与世界500强及国内龙头企业合作企业数量、国家级现代产业学院、国家示范性职教集团、国家现代学徒制试点专业等。校企合作育人维度中,数量指标包括校企合作开发专业人才培养方案、校企合作制定专业教学标准、校企合作开发课程、校企合作编写教材、合作企业兼职教师专业课授课学时比例、合作企业接收学生实习实训学时、订单式人才培养人数、现代学徒制人才培养人数、学生在合作企业就业比例等;质量指标包括校企合作开设新专业、在行业组织中担任职务的教师、学校联合培训评价组织开发职业技能等级标准、校企联合技术攻关项目、合作企业对院校捐赠设备总值(含放置在学校无偿使用设备)、企业对学校投入资金等。

  6. 提升服务发展水平。社会服务是职业院校的三大基本功能之一。从服务面向说,包括服务国家战略、服务区域经济社会发展、服务终身学习型社会,前两项在社会效益指标中已经体现,这里不再重复列入;从服务途径说,包括人才培养、技术研发和社会培训等,但人才培养和技术研发在相关项目中已体现,这里也不再重复列入。此处只选择了服务终身学习型社会维度,其数量指标包含非学历培训人数、非学历培训到款额、承担国培项目数、接待中小学职业认知和职业体验人数、开展1+X证书制度专业覆盖率、实施职业技能等级证书个数、职业技能等级证书考点数、继续教育网络课程、对外开放数字化资源等;质量指标包含全国职教师资培养培训基地、国家示范性职工培训基地、国家示范性继续教育基地、国家社区教育示范基地、国家老年大学示范校、国家优质继续教育网络课程、区域性职业教育联盟等。

  7. 提升学校治理水平。该项建设任务的数量指标主要考核学校的治理机构是否健全,治理制度体系是否完善,包括学校章程、学校理事会、学术委员会、专业建设委员会、教材选用委员会、专门的教学诊断与改进部门以及以章程为核心的制度体系;质量指标紧紧围绕职业教育的类型特点、紧盯体制机制的难点痛点问题提供案例,包括多元共治、智慧化治理、以群建院、人事聘任管理评价、教学诊断与改进、学术委员会有效运行等方面的创新,由专家打分评价。

  8. 提升信息化水平。提升信息化水平包括基础设施、信息化教学、智慧治理、智能服务四个维度,其中智慧治理和智能服务两个维度在“提升学校治理水平”中体现,通过案例加以说明,本项任务只包括基础设施与信息化教学两个维度。在基础设施维度中,数量指标包括校园总出口网络带宽、校园无线网络覆盖率两项。信息化教学数量指标包括线上开设课程数量、数字化图书及各类电子文献数据库资源量、以“信息技术+”升级传统专业、开展线上线下混合式教学课程、专业资源库数量、智慧教室、虚拟仿真实训资源等,质量指标包括国家职业教育信息化标杆学校、国家示范性虚拟仿真实训基地、国家职业教育在线精品课程三项。

  9. 提升国际化水平。该项任务的数量指标包括全日制留学生人数、国(境)外人员培训量、承担“走出去”中资企业海外员工培训人数、教师参加国际培训人数、专任教师赴国(境)外指导和开展培训时间、开发并被国(境)外采用的专业教学标准数、开发并被国(境)外采用的课程标准数、开设国(境)外办学机构、引入国际资源开设国际化二级学院等,质量指标包括鲁班工坊个数、牵头成立国际化联盟(中心)、举办高水平职业教育国际论坛、师生在国际技能大赛获奖数量等。

四、绩效评价指标权重确定

  本研究采用德尔菲法(Delphi)确定三级绩效评价指标体系权重。指标权重确定过程为:①第一轮专家调查。第一轮专家调查没有任何限制和说明,专家凭各自的经验和理解独立自主打分,直接给出三级指标权重。②对第一轮专家调查数据进行统计处理、分析,并将分析结果提供给调查专家,并就指标体系构建思路和内容,九大建设任务之间指标重叠的部分如何处理,向调查专家做出进一步解释和说明,由专家进行第二轮打分。③对第二轮专家打分结果进行统计分析,计算各级指标变异系数、肯德尔协调系数,依据专家打分的中位数和均值,最终确定绩效评价三级指标体系的权重。

  调查对象为京津冀24所“双高计划”建设学校,每所学校两位专家,共发放问卷48份,回收20所“双高计划”建设院校36位专家调查问卷,有效问卷36份,专家的积极系数为75%,说明大部分专家非常关注此问题。36名专家中,从职称上看,正高职称23名,占63.9%;副高职称11名,占30.6%;其他2名,占5.5%;从职务上看,主管“双高计划”建设的校级领导16名,占比44.4%,其余专家为“双高”办主任、教务处长、职教所所长、质管办主任等职务,均非常熟悉“双高计划”,说明打分专家具有较高的权威性。调查方式由专家对“双高计划”绩效评价三级指标体系权重进行打分,采用百分制。

  1. 第一轮专家调查数据分析。首先分析专家打分的集中程度。对专家调查数据进行统计分析,列出一级、二级、三级指标权重数据统计结果,包括每一项指标的中位数、均值、最大值、最小值、标准差和变异系数,其中变异系数为标准差与均值的比值,即Vj=σj/Mj。第一轮打分表结果表明,一级、二级、三级指标变异系数绝大部分在0.2~0.5之间,但时效指标与可持续影响指标的变异系数均大于0.6,此项指标专家打分的分散度较大。其次分析专家打分的协调程度。使用SPSS 23.0软件分别计算一级、二级、三级指标专家打分的肯德尔协调系数W,并对其进行卡方检验。结果表明,一级指标和二级指标专家打分的肯德尔协调系数分别为0.869和0.920,协调程度很好,三级指标的协调系数为0.309,协调程度偏低。经卡方检验,p值均小于0.01,具有统计学意义。将上述统计分析结果反馈给专家,进行第二轮打分。

  2. 第二轮专家调查数据分析。表1、表2、表3分别给出了一级、二级、三级指标权重第二轮专家打分统计结果,结果表明,3个一级指标变异系数分别为0.06、0.20、0.19,6个二级指标变异系数分别为0.08、0.11、0.28、0.21、0.35、0.19,29个三级指标变异系数绝大部分在0.3以下,只有1个指标变异系数达到0.4,比第一轮的集中程度有大幅提高,集中程度比较满意。使用SPSS 23.0统计软件分别计算一级、二级、三级指标第二轮专家打分的肯德尔协调系数W,并对其进行卡方检验。结果表明,一级、二级、三级指标专家打分的肯德尔协调系数分别为0.927、0.968、0.707,(见表4)最低的三级指标协调系数也超过70%,协调系数较高,协调程度很好。经卡方检验,p值均小于0.01,具有统计学意义。通过分析专家打分的集中程度和协调程度,笔者认为第二轮专家调查数据可用,不再进入下一轮调查。

图片

图片

图片

图片

  参考各级指标权重专家第二轮打分的平均值和中位数,经数据圆整,最终得到“双高计划”绩效评价指标权重分配,见表5。

图片

  《办法》规定:“学校应当在次年初,依据《双高学校建设数据采集表》《高水平专业(群)建设数据采集表》的指标框架,结合学校‘双高计划’建设方案,进一步细化本校指标,通过系统如实填报当年度进展数据。”但在实际执行中,学校原来填报的绩效指标并不允许修改,而各校绩效指标填报又大相径庭。那么如何在“双高计划”建设院校之间进行横向比较?有学者建议,对“双高计划”绩效评价指标进行词频统计,将出现频次高或大部分院校关注的指标作为横向比较指标。绩效指标上报时间为2020年5月,之后中央及相关部委又相继出台了一系列重要文件,特别是九部委出台的《职业教育提质培优行动计划(2020—2023年)》,该文件将“职教20条”部署的改革任务转化为落地的举措和行动,将遴选一大批国家层面具有引领示范作用的学校、案例、团队、名师、课程、教材、基地等,是“双高计划”建设重要的标志性成果,应该纳入绩效评价指标。在中期绩效评价时,建议教育部门出台更细化的绩效指标填报指导性文件,并允许“双高计划”建设学校修改、规范原有的绩效指标。

  绩效填报除了具体指标外,还要求学校和专业群提供案例。学校在“双高计划”建设过程中,应强化理论研究和实践探索,形成可复制的模式、可借鉴的机制、可推广的经验,彰显学校“引领职业教育改革发展和人才培养的贡献度”“支撑国家战略和区域经济社会发展的贡献度”“推动形成一批国家层面有效支撑职业教育高质量发展的政策、制度、标准的贡献度”。


分享到:
【打印正文】