34차시. RAG 평가 개요

4. 순위를 반영하는 지표

출처: 원본 PDF 34차시_RAG평가개요.pdf 9쪽 · 쪽 그림 9쪽

Precision과 Recall은 "가져왔나 안 가져왔나"만 봅니다. 몇 번째로 가져왔는지는 무시합니다.

4-1) 순위가 중요한 이유

출력

■ 같은 Recall인데 품질이 다른 두 경우

【A】 정답 조각이 1위로 검색됨
     [1] ★정답  [2] 무관  [3] 무관
     → LLM이 정답을 먼저 봅니다

【B】 정답 조각이 5위로 검색됨
     [1] 무관  [2] 무관  [3] 무관  [4] 무관  [5] ★정답
     → 노이즈 4개를 지나야 정답이 나옵니다
     → LLM이 앞쪽에 휘둘릴 수 있습니다

Recall@5는 둘 다 100%지만 A가 훨씬 좋습니다.

4-2) MRR (Mean Reciprocal Rank)

출력

정답이 n번째로 나왔다면 점수는 1/n

1위 → 1.00
2위 → 0.50
3위 → 0.33
5위 → 0.20
없음 → 0.00

MRR = 모든 질문의 점수 평균

■ 계산 예시 (질문 4개)

Q1: 정답이 1위 → 1.00
Q2: 정답이 3위 → 0.33
Q3: 정답이 2위 → 0.50
Q4: 정답 없음   → 0.00

MRR = (1.00 + 0.33 + 0.50 + 0.00) / 4 = 0.46

💡 Hit Rate — 가장 단순한 지표
"상위 k개 안에 정답이 하나라도 있는가"만 봅니다.
Hit Rate@5 = 정답이 5위 안에 있는 질문의 비율
계산이 쉽고 직관적이라 실무에서 많이 씁니다.
24차시에서 잰 "검색 정확도 85%"가 사실상 Hit Rate입니다.