34차시. RAG 평가 개요
3. 검색 평가 지표
출처: 원본 PDF 34차시_RAG평가개요.pdf 7쪽 · 쪽 그림 7쪽
3-1) Precision과 Recall
🎣 낚시 비유
연못에 참돔 10마리가 있습니다.
그물을 던져 물고기 5마리를 건졌는데
그중 참돔이 4마리였습니다.
Precision (정밀도) = 4/5 = 80%
"건진 것 중 원하는 게 얼마나?"
→ 쓸데없는 걸 얼마나 안 가져왔나
Recall (재현율) = 4/10 = 40%
"있는 것 중 얼마나 건졌나?"
→ 놓친 게 얼마나 되나
■ RAG에 적용하면 (k=5로 검색)
가져온 조각 5개 중 관련 있는 것 3개
문서 전체에 관련 조각이 4개 존재
Precision@5 = 3/5 = 0.60 (노이즈 40%)
Recall@5 = 3/4 = 0.75 (1개 놓침)| 상황 | Precision | Recall | 해석 |
|---|---|---|---|
| k를 늘림 | ↓ 낮아짐 | ↑ 높아짐 | 많이 가져오니 노이즈도 늘어남 |
| k를 줄임 | ↑ 높아짐 | ↓ 낮아짐 | 정확하지만 놓치는 게 생김 |
| 임계값 높임 | ↑ 높아짐 | ↓ 낮아짐 | 확실한 것만 통과 |
💡 RAG에서는 Recall이 더 중요합니다
왜냐하면 LLM이 노이즈를 어느 정도 걸러주기 때문입니다.
· 관련 없는 조각이 섞여도 → LLM이 무시할 수 있음
· 정답 조각이 없으면 → 아무것도 할 수 없음
그래서 11차시에서 k=3보다 k=5가 나았던 것입니다.
단, k를 너무 키우면 노이즈가 LLM을 흔듭니다.
14차시에서 k=8이 오히려 나빴던 이유입니다.