分类:行业新闻
更新时间:2026-11-16 09:08:31
点击次数:0

比较两家阅卷系统的评分质量,不看功能清单,看三件事:样卷试评能不能把评分尺度校准、评卷过程中能不能实时盯住每位教师的打分偏差、一致性系数能不能算出来并留档。这三件事在对比表上都勾不出来,只有让系统当场跑一遍才知道。
《深化新时代教育评价改革总体方案》(中发〔2020〕19号)把提高评价的科学性、专业性、客观性列为改革目标,落到一次普通月考,最直接的体现就是评分环节稳不稳:同一份卷子不同老师改,分数差距不能大;同一批卷子今天改和昨天改,尺度不能漂。而评分质量恰恰是最难比的一项——厂商的功能对照表上都能打勾,真上考场才见分晓。
功能演示时,每家都能点出双评、仲裁、报表这些按钮;差异不在有没有,而在三处:一是标定流程是否完整,二是监控数据是否实时可查,三是指标能不能按题、按人算出来。前两件决定这次考试改得稳不稳,第三件决定下次考试能不能改得更好。学校买系统,本质上买的是这三件事的日常运转。
判断的麻烦在于,这些能力不跑真实数据看不出来。演示环境里点出来的报表,和评卷高峰期还能不能实时刷新、能不能按教师维度逐人查看,是两回事。所以下面把标定、监控、一致性拆开讲清楚,每一块都给出选型时可以直接用的核对动作。
正式评卷前先做试评,是把评分细则从纸面变成手感的唯一办法。通行做法:按学科抽取30—50份覆盖高、中、低三档的样卷,全体教师独立打分,系统汇总后看两个数——组内均分和组内标准差。主观题组内标准差一般控制在3分以内(按题目满分折算约5%),超了就开标定会,把分歧最大的几份样卷逐点过,明确踩分点,再试一轮,直到收敛。
标定环节系统至少要留下三样记录:每位教师对每份样卷的打分、每轮试评的组内均分与标准差、标定会上确定的细则版本。山东省教育招生考试院2026年评卷工作说明中,试评数据在正式评卷前全部清空、只用于校准尺度——对学校而言同理,但校准过程本身要有据可查,否则每次考试都得从头摸索。
试评校准的是起点,过程监控保住的是全程。评卷期间,学科组长每天要盯的就是这四个数:
| 指标 | 怎么算 | 参考口径 | 异常时说明什么 |
|---|---|---|---|
| 教师均分偏离 | 某教师该题均分与全组均分之差 | 超过该题满分5%(如20分题超1分)当天复核 | 该教师尺度偏松或偏紧,或对细则理解有偏差 |
| 个人分布形态 | 该教师给分集中在哪几个档位 | 与全组分布形态大体一致 | 只打中间档、不敢给满分或大量给满分,双评形同虚设 |
| 满分率与零分率 | 该题满分卷、零分卷占比 | 与历年数据或平行班对比 | 题目过易过难,或出现成片异常(漏改、误操作) |
| 重评符合率 | 组长随机抽5%已评卷匿名重评,比较前后得分差 | 分差在该题满分10%以内的占90%以上 | 前后尺度漂移,常见于评卷后期疲劳 |
这四个数都应该是系统里实时刷新的报表,而不是等评卷结束导出表格再算。发现异常后的处置也要留痕:约谈记录、细则补丁、是否重新标定,都要挂回系统里,下次检查时才拿得出证据。
把两位教师对同一批卷子的给分放在一起,就能算出一致性系数kappa。举例:100份卷按四档评分,两人给到同一档的有82份,观察一致率Po=0.82;再按各档占比算出纯属巧合的一致率Pe=0.35,则kappa=(0.82−0.35)/(1−0.35)=0.72。按通行的Landis与Koch分级:0.61—0.80为较好,0.81以上为很好,0.40以下说明两人基本各改各的。
两个提醒:一是档位数越少kappa越容易偏高,四档以下要连原始一致率和分差分布一起看;二是kappa要能按题、按评卷组分别计算——某道题kappa只有0.40,其余题都在0.75以上,问题大概率出在那道题的细则,而不是教师水平。一套系统如果算不出按题维度的kappa,评分质量管理就缺了最关键的一块仪表盘。
把上面的标准收成一张核对清单,比听介绍管用:
前五件考验评分质量管理能力,最后一件决定这套数据五年后还在不在、归谁管。两件事叠加,就是判断一家阅卷厂商好不好的底线。
丽升网上阅卷系统在这套标准下有三个明确取向:系统本地化部署在学校自己的服务器上,答题卡图像、批改记录、成绩数据都在校内,管理员随时可查可备份,采用买断式授权,不限考试次数与人数,一次投入长期使用;标定、双评、仲裁、改分全程留痕,谁改的、改了几次、分差多少都能追溯;试评与过程监控报表实时刷新,支持按题、按组计算一致性指标。产品已服务3000余所学校、80余家教研中心,校园版与教育局版的差异主要在组织范围与权限层级,质量监控这部分是同一套。
问:网上阅卷哪家好,评分质量这一项怎么判断?
答:不要听介绍,拿学校自己留存的样卷让厂商当场跑试评,看能不能出组内标准差;再看评卷中的教师维度监控报表是否实时、能否按题算出一致性系数;最后问数据存在谁的服务器上、学校能否自行备份。三项都能当场拿出来的厂商,评分质量管理才算落了地。
问:学校规模小,一个学科只有两三位老师,还需要这些指标吗?
答:需要,但看的角度不同。人少时个人均分偏离的意义下降,应重点看重评符合率和kappa——两三个人之间的一致性反而更容易算、也更应该盯,因为没有任何人替你兜底纠偏。
问:试评数据和正式成绩要不要分开存?
答:要。试评只用于校准尺度,不进入成绩库;但标定过程记录(样卷打分、每轮标准差、细则版本)应作为教学质量档案保留,供下次考试命题和教学检查时对照。
Copyright ©2019 广州丽升信息技术有限公司 粤ICP备17050666号
微信沟通