基于电子档案袋测评的评分者间信度分析报告

摘要：

本研究旨在评估一项电子档案袋测评实验的评分者间信度,分析评分差异的可能原因.从样本框按学号抽取85名学生的档案袋(28.3％).8位评分者分成5组(每组2人,1名任课教师,1名外部评分者),根据量规对旨在反映学生反思能力和自我测评能力的两指标进行独立评分.分别用Cohen的kappa系数、PABAK指数、Spearman秩相关系数、配对样本t检验和效应量对两个评分者的一致性、相关性和差异性进行估计.结果 表明:1)10组评分中,7组kappa值达到中等以上一致,9组修正kappa-PABAK值达到中等以上一致;2)10组评分均达到中等到极强相关程度;3)任务类型和任务呈现方式、评分者角色以及对量规的理解一定程度上造成了评分偏差.本文针对研究结果讨论了对未来档案袋测评设计的启示.

关键词：电子档案袋测评;评分者间信度;一致性;相关性;差异

所属期刊栏目：29

分类号：H319(英语)

资助基金：国家社会科学基金BCA140053

在线出版日期：2022-01-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：67-72