6. 실습 ② — 채점자 간 일치도 확보

출처: 원본 PDF 37차시_루브릭설계.pdf 13~14쪽 · 쪽 그림 13쪽 14쪽

루브릭을 만들었어도 사람마다 다르게 채점하면 소용없습니다.

6-1) 일치도 측정하기

📝 두 명이 같은 답변을 채점

답변  │ 채점자A │ 채점자B │ 차이
──────┼─────────┼─────────┼──────
 Q001 │  2.00   │  2.00   │ 0.00
 Q002 │  1.15   │  1.45   │ 0.30  ← 불일치
 Q003 │  0.75   │  0.75   │ 0.00
 Q004 │  1.70   │  1.70   │ 0.00
 Q005 │  1.30   │  0.95   │ 0.35  ← 불일치

평균 차이: 0.13
완전 일치: 3/5 (60%)

🔍 불일치가 나면 루브릭을 고칩니다
Q002에서 갈린 이유를 확인해보니
A: "출처 번호가 있지만 하나만 있어서 근거성 1점"
B: "출처 번호가 있으니 근거성 2점"
기준이 모호했던 것입니다.
수정
2점: "인용한 모든 근거 번호가 유효하고,
답변의 각 사실 문장에 표시되어 있다"
1점: "출처 표시가 있으나 일부 문장에만 있다"
이제 갈릴 여지가 줄어듭니다.

6-2) 일치도 목표

💡 캘리브레이션 세션
채점 전에 같이 3~5개를 먼저 채점하고
차이가 난 부분을 토론해 기준을 맞춥니다.
이걸 하고 나면 나머지 채점의 일치도가 크게 올라갑니다.
혼자 채점하더라도, 하루 뒤에 다시 채점해보면
자기 자신과의 일치도를 확인할 수 있습니다.