37차시. 루브릭 설계
9. 자주 하는 실수
출처: 원본 PDF 37차시_루브릭설계.pdf 19쪽 · 쪽 그림 19쪽
| 실수 | 올바른 방법 |
|---|---|
| 항목을 10개 이상 만듦 | 3~5개면 충분합니다. 많으면 채점이 형식적이 됩니다 |
| "훌륭함" 같은 주관적 표현 사용 | 관찰 가능하고 셀 수 있는 기준으로 쓰세요 |
| 항목이 서로 겹침 | "A에서 감점될 때 B도 항상 감점되는가"로 점검하세요 |
| 가중치를 균등하게만 배분 | 서비스 성격에 맞춰 차등을 두고 근거를 적으세요 |
| Gate 조건이 없음 | 틀린 답이 평균으로 합격하는 일이 생깁니다 |
| 루브릭을 만들고 검증 안 함 | 3~5개를 두 번 채점해 일치도를 확인하세요 |
9-1) LLM 채점의 한계
⚠️ 자동 채점을 100% 믿지 마세요
34차시에서 배운 편향이 루브릭 채점에도 적용됩니다.
· 긴 답변에 completeness를 후하게 줍니다
· 형식이 갖춰지면 내용과 무관하게 높게 봅니다
· 애매하면 중간값(1점)으로 몰립니다
대책
① 표본 10건은 사람이 직접 채점해 비교
② 차이가 0.3 이상이면 프롬프트를 수정
③ 최종 보고에는 "자동 채점"임을 명시
정직하게 밝히면 오히려 신뢰를 얻습니다.