37차시. 루브릭 설계
정리
- 이분법 채점에서는 품질이 전혀 다른 답변도 모두 정답 1점입니다. 루브릭은 그 차이를 점수로 드러냅니다. (37차시 「1. 왜 이분법으로는 부족한가」)
- 루브릭은 항목 × 수준의 표이고, 총점은 각 항목 점수 × 가중치의 합입니다. (37차시 「2. 루브릭의 구조」 › 2-1) RAG 답변 평가 루브릭 (예시))
- 좋은 루브릭은 관찰 가능하고, 수준 간 경계가 셀 수 있을 만큼 명확하고, 항목이 겹치지 않으며, 수준은 3~4단계입니다. (37차시 「3. 좋은 루브릭의 조건」)
- 가중치는 서비스 성격에 맞춰 근거를 갖고 나누고, 정확성·근거성처럼 꼭 넘어야 할 항목은 Gate로 따로 둡니다. (37차시 「4. 가중치 정하기」 › 4-1) 필수 항목 (Gate) 두기)
- 두 채점자의 평균 차이가 0.3을 넘으면 루브릭을 고칩니다. 채점 전에 3~5개를 같이 채점해 기준을 맞추면 일치도가 오릅니다. (37차시 「6. 실습 ② — 채점자 간 일치도 확보」 › 6-2) 일치도 목표)
- LLM 자동 채점에도 편향이 있으니 표본 10건은 사람이 채점해 견주고, 보고서에는 자동 채점임을 밝힙니다. (37차시 「9. 자주 하는 실수」 › 9-1) LLM 채점의 한계)