欢迎进入广州丽升信息技术有限公司官网!!!
客服热线:/400-878-8006 / 18520537873 中文
  • 中文
  • English

【丽升网上阅卷】双评、三评和仲裁怎么设?网上阅卷误差控制与信度的几个参数

分类:行业新闻

更新时间:2026-11-08 00:19:16

点击次数:0

中学计算机教室作为网上阅卷室,教师在线双评批阅扫描答题卡

双评阈值按该题满分的10%设,三评率压在5%以内,整卷信度系数α不低于0.8——这三个数一旦定错,分数就会飘。

每年评卷季,教育考试院公布的细则里反复出现的是同一批词:双评、三评、阈值、终评。2026年6月13日重庆市教育考试院组织的高考评卷场开放日上,西南大学评卷点介绍的“四评制”,2026年6月16日山东省教育招生考试院说明的“双盲双评”,说的都是同一套误差控制逻辑。学校自己组织月考、期中、模考,用的系统不同、人少一些,但这套参数一个都不能省。

双评的差值阈值,为什么按满分比例而不是固定分值?

阈值指的是两位评卷教师对同一道题给分的差值上限。差在阈值内,两评有效;超了阈值,这道题就进入三评。阈值不能用“固定5分”这种绝对数,因为题目分值本身不一样:一道10分的简答题差3分已是严重分歧,一道60分的作文差3分却属于正常尺度差异。

通行做法是按该题满分的比例设定:客观化程度高的主观题(填空、计算、短答)取10%左右;开放性强的作文、论述题取10%—15%。换算下来,60分作文的阈值6—9分,10分简答题的阈值1分。这个比例不是拍脑袋——重庆2026年高考的阈值由学科专家组在正式评卷前设定,系统只负责执行;山东则是在培训试评阶段校准,试评数据在正式评卷前全部清空。

题型满分示例建议阈值阈值定得过宽会怎样
填空、计算、短答10分1分(10%)不同解法被判同分,误差积累到总分
材料分析、实验设计20分2—3分(10%—15%)要点漏判无法通过三评暴露
语文/英语作文60分6—9分(10%—15%)双评退化为单评,评分尺度失守
综合论述、开放性试题15分2分(约13%)三评率接近0,实为“放水”

阈值定得越宽,双评越像走过场;定得越窄,三评率越高,评卷成本成倍上升。它是成本和精度之间唯一那个可调的旋钮。

双评超差之后,三评的分数怎么和一评二评合并?

这一步最容易在系统里配错,也最容易在人工操作中被“口头解决”。规范做法有明确的合并顺序:

第一层,一评、二评差值在阈值内,直接取两人平均分作为该题得分。第二层,差值超阈值,题目随机分发给第三位教师三评;三评分出来后,把三个分值两两对比,取“差值在阈值内且差值最小的两个分值”求平均。第三层,三个分值两两相比全部超阈值,题目提交学科专家组终评(仲裁),专家组给出的分值即最终得分。

重庆2026年高考采用的就是这套三层结构,当地称“四评制”——第四评即专家组终评,重庆市人民政府网6月14日的报道对此有完整描述。山东的表述略有差异:双盲双评超阈值随机第三人三评,仍有争议的提级由2名专家共同研判。差异在组织形式,内核一致:任何一次评分分歧,都必须有一个可追溯的收口动作,而不是让某个人私下协调。

对学校而言,需要在系统里配置清楚三件事:三评由谁触发(系统自动还是题组长手动)、终评权限归谁(学科组长还是教研员)、终评是否留痕(谁改的、改了多少、依据什么)。

三评率多少算正常?高了低了都不是好事

三评率是双评超差的题目占比,它同时反映评分标准是否统一、题目区分度是否合理。山东省教育招生考试院在2026年评卷工作说明中提到,当地建立了省派质检组、学科质检组、题组、题小组四级质量管理监督机制,用网上评卷系统实时监控评卷员的评卷量、三评率、打分分布,并对三评卷、满分卷、零分卷重点检查。

校内考试的经验参考区间:三评率5%以内属正常;5%—10%需要复核,通常是某一题评分细则没讲透;超过10%,基本可以判定为该题开放性过强、细则模糊,或者参评教师未完成统一试评。反过来,三评率长期接近0也不是好消息——它多半意味着阈值设得过宽,双评已经失去意义。

三评率是个双向指标:太高说明标准不齐,太低说明关卡失效。

信度效度怎么算?四个指标够学校用了

信度回答的是“同一批卷子再评一次,分数会不会变”,效度回答的是“这次考试是否测到了想测的能力”。学校层面不需要做复杂的测量学建模,四个口径足够:

指标算法口径参考区间用来看什么
双评一致率差值≤阈值的题数 ÷ 双评总题数≥90%评分尺度是否统一
克隆巴赫α题目间协方差与总分方差之比≥0.8可接受,≥0.9良好整卷内部一致性
Kappa系数扣除随机一致后的评分者一致性>0.75较好,0.4—0.75中等两位教师的判断是否可互换
ICC组内相关评分者间方差占总方差比例>0.75良好连续分值的评分者一致性

两个常见误判要说清。其一,α会受题量影响,10道题以下的短卷α天然偏低,不能直接与整卷比较。其二,一致率高不等于信度高——如果两位教师都只给中间分,一致率可以很漂亮,但分数失去了区分能力,这时要看打分分布的标准差。

效度一般看校标关联:本次成绩与上学期期末、与同层次联考成绩的相关系数,0.6以上说明测量方向基本一致;若某科相关系数骤降到0.3以下,先查试卷结构(是不是难度突变或题量失衡),而不是先怀疑学生。

难度和区分度怎么算,一道题该不该留?

难度用P值表示,即该题平均得分除以满分,0.3—0.7为适中区间,全卷P值通常落在0.55—0.65。区分度D用高低分组得分率之差计算,按总分排序各取前27%和后27%作为高分组、低分组,D≥0.4为很好,0.3—0.39良好,0.2—0.29需要修改,低于0.2基本可淘汰。

这两个指标的价值在大规模数据下才显现出来。2026年重庆统一高考20.9万人、试卷近126万份,投入计算机1900余台、服务器30余台、高速扫描仪12台、评卷教师近1500人;山东夏季高考72万人、9科432万余份试卷、评卷员3700余人。这种体量下,靠人工抽查根本发现不了参数设置错误,只能靠系统把指标算出来摆到台面上。

学校的月考规模小得多,但逻辑相同:一次考试几百到几千份卷子,也足以让一道区分度为0.1的题混进成绩单,最终影响的是分班与教学决策。

学校自己组织考试,这套参数怎么落地?

把上面几节压成一张可执行的清单,教务处照做即可:

  1. 试评:按学科抽取100—200份样卷,全组教师同评,逐题对齐评分细则,试评数据不计入正式成绩。
  2. 定阈值:按题型分别设置,客观化主观题取满分10%,作文类取10%—15%,在系统中逐题配置而非全局统一。
  3. 配规则:明确三评触发方式、三个分值两两取近的合并逻辑、终评权限归属。
  4. 抽检:题组长对已评试卷按不低于10%的比例抽查,重点看满分卷、零分卷与打分集中于中段的教师。
  5. 出报告:考试结束后生成一致率、三评率、α、难度、区分度五张表,作为教研会材料而非仅存档。
  6. 留痕:参数配置值与调整记录一并归档,下一次考试沿用同一套基线,才有纵向可比性。

网上阅卷系统、学情监测系统与智能题库系统在这条链上分工不同:阅卷系统负责评分与误差控制,学情监测负责把逐题得分转化为班级、年级、区域的分析口径,题库系统负责下次命题时的难度与区分度预估。丽升的服务经验覆盖3000余所学校与80余家教研中心,部署方式既有买断式本地化部署,也支持按年订阅,参数的配置粒度是选型时值得当场演示确认的一项。

常见问题

问:双评一定比单评准吗?
答:不一定。双评的真正价值是让误差变得可测量、可定位——有了差值,才有三评和终评的触发依据。如果阈值放到满分的30%,两评几乎总能过关,双评就退化成了单评加一道手续。阈值设置与抽检比例同时到位,双评才成立。

问:信度系数算出来只有0.7,是系统算错了吗?
答:先排查两件事:题目数量是否过少(10题以下的短卷α天然偏低)、评分是否高度集中在中间分数段(区分度不足的卷子α同样偏低)。这两项排除后,再查是否跳过了统一试评——多数α偏低最终都能追到“标准没对齐”这一步。

问:学校没有测量学背景的老师,这些指标谁来算?
答:由系统自动生成,教研组只需要看三张表:一致率与三评率(评分是否统一)、难度与区分度(题目是否可用)、α(整卷是否稳定)。指标不需要人算,需要的是有人看、有人据此调整下一套卷子。

丽升网上阅卷系统微信公众号二维码
微信公众号,请关注我们哦!
  • 地址:天河区元岗路68号远洋天骄广场B2栋1124室
  • 电话:18520537873 /400-878-8006
  • 传真:18520537873
  • Email:lisheng@liisheng.com
  • 全球服务热线:/400-878-8006

Copyright ©2019 广州丽升信息技术有限公司 粤ICP备17050666号