34차시. RAG 평가 개요
9. 목표치는 어떻게 정하나
출처: 원본 PDF 34차시_RAG평가개요.pdf 19쪽 · 쪽 그림 19쪽
"Hit Rate 90%"라는 숫자는 어디서 나왔을까요?
| 방법 | 설명 |
|---|---|
| 현재값 + α | 지금 85%면 목표 90%. 가장 현실적입니다 |
| 업무 요구사항 | "고객 문의 자동응답률 80% 이상" 같은 사업 목표에서 역산 |
| 사람 기준선 | 사람이 같은 질문에 답했을 때의 정확도와 비교 |
| 비용 균형점 | 더 올리려면 비용이 급증하는 지점 |
⚠️ 100%를 목표로 두지 마세요
32차시에서 확인했듯이
남은 5%는 문서에 없는 내용입니다.
시스템으로는 절대 해결할 수 없습니다.
100%를 목표로 하면
· 임계값을 낮춰 환각을 늘리거나
· k를 키워 노이즈를 늘리거나
· 평가 기준을 느슨하게 만들게 됩니다
달성 가능한 목표가 좋은 목표입니다.
9-1) 지표 간 트레이드오프
⚖️ 하나를 올리면 하나가 내려갑니다
Faithfulness를 극대화하면
→ "확인할 수 없습니다"를 남발합니다
→ Relevancy와 유용성이 떨어집니다
Recall을 극대화하면
→ k를 키워야 하고 노이즈가 늘어납니다
→ Precision과 응답 속도가 나빠집니다
응답 속도를 극대화하면
→ 검증을 빼야 합니다
→ Faithfulness가 떨어집니다
그래서 여러 지표를 함께 봐야 합니다.
하나만 보면 반드시 다른 곳이 무너집니다.