RAG2026-5일37차시 · 루브릭 설계4 / 18← 이전목차다음 →MetaContents

37차시. 루브릭 설계

1. 왜 이분법으로는 부족한가

출처: 원본 PDF 37차시_루브릭설계.pdf 3쪽 · 쪽 그림 3쪽

36차시까지 우리는 "맞다 / 틀리다"로만 채점했습니다.

1-1) 같은 "정답"인데 품질이 다른 경우

출력
Q: "환불은 며칠 이내에 신청해야 하나요?"

【답변 A】
"환불은 상품 수령 후 7일 이내에 신청하실 수 있습니다[1].
 단순 변심의 경우 왕복 배송비는 고객이 부담합니다[1]."
→ 정답

✅

출력
【답변 B】
"7일"
→ 정답

✅

출력
【답변 C】
"환불 관련 규정에 따르면 소비자는 상품을 수령한 날로부터
 기산하여 7일 이내에 환불을 신청할 수 있으며, 이는 전자상거래
 등에서의 소비자보호에 관한 법률에 근거한 것으로 보이며,
 다만 상품의 상태나 포장 훼손 여부 등에 따라..."
→ 정답

✅

⚠️ 셋 다 "정답 1점"입니다
하지만 실제 품질은 완전히 다릅니다.
A — 핵심 + 조건 + 출처. 이상적입니다
B — 맞지만 불친절합니다. 출처도 없습니다 C — 장황하고 근거 밖 추측이 섞였습니다이분법으로는 A가 더 좋다는 것을 표현할 수 없습니다.

1-2) 루브릭이 필요한 순간

이분법으로 충분루브릭이 필요
사실 확인 (7일인가 아닌가)답변 품질 종합 평가
자동화된 회귀 테스트사람이 검토하는 최종 평가
빠른 방향 확인프로젝트·과제 채점
지표 추이 관찰여러 시스템 비교
← 이전 절37차시 · 이번 차시에서 배우는 것다음 절 →37차시 · 2. 루브릭의 구조