37차시. 루브릭 설계
1. 왜 이분법으로는 부족한가
출처: 원본 PDF 37차시_루브릭설계.pdf 3쪽 · 쪽 그림 3쪽
36차시까지 우리는 "맞다 / 틀리다"로만 채점했습니다.
1-1) 같은 "정답"인데 품질이 다른 경우
Q: "환불은 며칠 이내에 신청해야 하나요?"
【답변 A】
"환불은 상품 수령 후 7일 이내에 신청하실 수 있습니다[1].
단순 변심의 경우 왕복 배송비는 고객이 부담합니다[1]."
→ 정답✅
【답변 B】
"7일"
→ 정답✅
【답변 C】
"환불 관련 규정에 따르면 소비자는 상품을 수령한 날로부터
기산하여 7일 이내에 환불을 신청할 수 있으며, 이는 전자상거래
등에서의 소비자보호에 관한 법률에 근거한 것으로 보이며,
다만 상품의 상태나 포장 훼손 여부 등에 따라..."
→ 정답✅
⚠️ 셋 다 "정답 1점"입니다
하지만 실제 품질은 완전히 다릅니다.
A — 핵심 + 조건 + 출처. 이상적입니다
B — 맞지만 불친절합니다. 출처도 없습니다 C — 장황하고 근거 밖 추측이 섞였습니다이분법으로는 A가 더 좋다는 것을 표현할 수 없습니다.
1-2) 루브릭이 필요한 순간
| 이분법으로 충분 | 루브릭이 필요 |
|---|---|
| 사실 확인 (7일인가 아닌가) | 답변 품질 종합 평가 |
| 자동화된 회귀 테스트 | 사람이 검토하는 최종 평가 |
| 빠른 방향 확인 | 프로젝트·과제 채점 |
| 지표 추이 관찰 | 여러 시스템 비교 |