37차시. 루브릭 설계

4. 가중치 정하기

출처: 원본 PDF 37차시_루브릭설계.pdf 9~10쪽 · 쪽 그림 9쪽 10쪽

모든 항목이 똑같이 중요하지는 않습니다. 서비스 성격에 따라 다릅니다.

서비스 유형	정확성	근거성	완결성	명료성
사내 규정 안내	35%	30%	20%	15%
의료·법률 상담	40%	40%	15%	5%
고객 응대 챗봇	30%	15%	20%	35%
연구 자료 검색	25%	40%	30%	5%

🎯 가중치에도 근거가 있어야 합니다
의료·법률 — 정확성과 근거성이 80%
틀린 답이 실제 피해로 이어집니다
말이 좀 딱딱해도 정확한 게 낫습니다
고객 응대 — 명료성이 35%
일반 사용자가 읽으므로 이해하기 쉬워야 합니다
출처 번호는 오히려 방해가 될 수 있습니다
내 프로젝트는 어느 쪽인가요?
그것부터 정해야 가중치가 나옵니다.

4-1) 필수 항목 (Gate) 두기

출력

■ 가중 평균만으로는 부족한 경우

정확성 0점 (사실이 완전히 틀림)
근거성 2점 · 완결성 2점 · 명료성 2점

가중 평균 = 0×0.35 + 2×0.30 + 2×0.20 + 2×0.15 = 1.30점
→ 합격선 1.2를 넘습니다!

❌ 틀린 답인데 합격합니다.

💡 Gate 조건을 추가하세요
"정확성이 0점이면 총점과 무관하게 불합격" 어떤 항목은 최소 기준을 반드시 넘어야 합니다.
RAG에서는 보통
· 정확성 ≥ 1점
· 근거성 ≥ 1점 (환각 금지)
두 가지를 Gate로 둡니다.