34차시. RAG 평가 개요

2. 평가는 두 층으로 나눕니다

출처: 원본 PDF 34차시_RAG평가개요.pdf 5쪽 · 쪽 그림 5쪽

RAG는 검색과 생성 두 단계입니다. 평가도 그렇게 나눠야 합니다.

출력

                    질문
                     │
              ┌──────▼──────┐
              │   검색       │  ← ① Retrieval 평가
              │  (Retrieval) │     "올바른 근거를 가져왔나?"
              └──────┬──────┘
                     │ 근거
              ┌──────▼──────┐
              │   생성       │  ← ② Generation 평가
              │ (Generation) │     "근거대로 잘 답했나?"
              └──────┬──────┘
                     │
                   답변
                     │
                     └──────────  ← ③ End-to-End 평가
                                     "결국 사용자가 만족하나?"

평가 층	묻는 것	대표 지표
① Retrieval	정답이 담긴 조각을 가져왔는가	Precision, Recall, MRR, Hit Rate
② Generation	근거대로 답했는가	Faithfulness, Answer Relevancy
③ End-to-End	최종 답이 맞는가	Correctness, 사용자 만족도

💡 왜 나눠서 봐야 하나
End-to-End 정답률이 70%라고 합시다.
이 숫자만으로는 무엇을 고칠지 알 수 없습니다.
나눠서 보면
· 검색 95% · 생성 74% → 생성을 고쳐야 합니다
· 검색 72% · 생성 97% → 검색을 고쳐야 합니다
12차시에서 배운 진단법의 정량화 버전입니다.
"조각에 정답이 있는가"를 숫자로 만든 것입니다.