34차시. RAG 평가 개요
6. 지표 정리표
출처: 원본 PDF 34차시_RAG평가개요.pdf 13쪽 · 쪽 그림 13쪽
| 지표 | 층 | 묻는 것 | 측정 방법 |
|---|---|---|---|
| Hit Rate@k | 검색 | 정답이 k개 안에 있나 | 정답 페이지 대조 (코드) |
| Precision@k | 검색 | 노이즈가 얼마나 적나 | 관련성 라벨링 필요 |
| Recall@k | 검색 | 놓친 게 없나 | 전체 정답 조각 파악 필요 |
| MRR | 검색 | 정답이 앞쪽에 있나 | 정답 순위 기록 (코드) |
| Faithfulness | 생성 | 환각이 없나 | LLM 심판 |
| Answer Relevancy | 생성 | 동문서답이 아닌가 | LLM 심판 |
| Context Precision | 중간 | 근거를 다 썼나 | used_docs 분석 (코드) |
| Correctness | 전체 | 최종 답이 맞나 | 정답 대조 + LLM 심판 |
6-1) 무엇부터 재야 할까
🎯 입문자를 위한 우선순위
1순위 — Hit Rate@k
코드로 계산되고, 검색 문제를 바로 드러냅니다
24차시에서 이미 재봤습니다
2순위 — Faithfulness
환각 여부는 실무에서 가장 중요합니다
26차시 Verifier를 그대로 쓸 수 있습니다
3순위 — Correctness
최종 품질. 지금까지 쓴 정답률의 정교한 버전
나중에 — Precision / Recall / MRR
정답 조각을 일일이 라벨링해야 해서 품이 많이 듭니다
시스템이 안정된 뒤에 도입하세요
세 개만 재도 충분히 설명력 있는 평가가 됩니다.