您好! 欢迎来到中南人才测评中心(第三方命题专家)
帮助优秀组织提高人事决策准确性

全国服务热线:15364068073

讯中心

当前位置:资讯中心->人事考试理论与实践->考试的测量学基础知识——标准设定

考试的测量学基础知识——标准设定

2021-11-02

考试是一种常见的测量形式,其作为一门科学,拥有深厚的理论基础,了解理论基础有利于考试工作的开展,研究院作为学术性机构,致力于加强考试科学知识的普及,本公众号将会陆续推送考试科普知识,供各考试工作者参考学习。

对于考试来说,分数线设立是测验设计开发中最关键的问题之一,可信赖的分数线可以增加提高测验的效度和信度,本文介绍了标准设定的常规步骤、一些经典的标准设定方法,以期对考试测验设计工作有所启发。

标准即衡量事物的准则,在心理与教育测量研究领域中,标准更多地涉及受试者的表现。对于任何一种标准参照考试而言,都必须根据受试者的表现,对其达标与否、合格与否、掌握与否进行判断,这就需要确定切点(分界分数)。切点将考试分数分布划分为两类或两类以上,两类的划分如达标与未达标、及格与不及格等,两类以上的划分则诸如等级A、B、C、D、E等。确定分界分数的过程称为标准设定(standard setting),其目的在于确定一个能够引导决策的准则。

设定标准或切点的方法不是一种凭直觉推测正确解答的技术,它是一种系统性的方法,包括搜集判断价值的依据、对标准达成共识及对单个分数的共识等内容。一般情况下,标准设定的步骤如下:

确定标准的类型

标准通常有两种类型,相对标准和绝对标准,选用哪一种标准与考试目的有关。

绝对标准以答对一定数量试题或获得一定分数来确定切点,如满分100分的考试,取得60分为及格就是绝对标准;绝对标准更适用于以测试能力为目的的考试,如学生的期末考试、资格证书考试、执照考试等。

相对标准以一定数量或百分比的应试者来确定切点,如考试成绩前15%的人等级为A,前15%~50%的人等级为B。相对标准较适用于选拔性考试。

确定设置标准的方法

选择合适的标准设定方法是构成考试效度证据的重要来源。

Nedelsky法

这种方法仅适用于多项选择测验。方法要求专家考察测验中每个题目的选项,判断最低能力应试者在每一题上有能力排除的错误选择项,从而计算正确回答的可能性,计算出所有题目正确回答可能性之和,就是测验分数分界点。

Angoff法

适用于多种题型,在实际运用中更受欢迎。方法要求专家考察测验中每个题目,估计每个题目最低能力者正确回答的概率,每位专家对测验所有题目估计的概率求和,即为该专家评判的分界分数,将所有专家的分界分数求平均,即为整个测验的分界分数。

对照组法

选出行业内专家和教育测量专家,针对所测内容,界定掌握组和不掌握组具有的知识技能水平,根据界定去找出两组被试者并实施测验,获得两组测验分数, 将这两组受试者测验分数的频数分布绘制在同一坐标系中,这两个频数分布的交叉点就是测验的分界分数。

选择专家,举行设定标准的会议

邀请专家时,需要考虑专家的研究领域、所处的地理位置、性别、年龄、经历、观点等。如为一项医师资格考试设置标准,除了必须邀请医学教师、专科医生等专业相关人士,还应该邀请相关专业的教育测量专家。

举行标准设定会议时,需要为标准设定专家提供考试试卷、历年考试分界分数线、相关统计数据等材料,同时,还需要对参与专家进行培训,让其熟悉所使用的标准设定方法的原理和步骤。

计算合格标准

合格标准的计算根据所采用的计算方法而有所不同,通常是取专家的平均数。有些情况下,需要采用中位数来代替平均数,或者去掉一个最高分和一个最低分也许更合理。作为计算标准的一部分,最后还要计算可信度系数或可重现性系数,以判断设定标准的过程是否充分可信或者可重现。

内容参考

向冠春.(2013).标准设定与等级划分,成人教育,1,14-20

《心理与教育测量》

《中国考试》


Copyright 中南人才测评中心(第三方命题专家) .ALL Rights Reserved.

湖南省长沙市雨花区金海路128号长沙国际研创中心A2栋1001   网站备案:赣ICP备10200863号-6TEL:15364068073