5. 답변 평가 지표

출처: 원본 PDF 34차시_RAG평가개요.pdf 11~12쪽 · 쪽 그림 11쪽 12쪽

검색이 잘 됐어도 답변이 나쁠 수 있습니다. 생성 단계를 따로 평가합니다.

5-1) Faithfulness (근거 충실성)

🔍 답변의 주장이 근거 안에 있는가
답변을 문장 단위로 쪼개서 각각 확인합니다.
[근거] 환불은 7일 이내에 신청할 수 있습니다.
배송비는 고객이 부담합니다.
[답변]
① "환불은 7일 이내에 신청 가능합니다" → 근거 있음 ✅
② "배송비는 고객 부담입니다" → 근거 있음 ✅
③ "수수료는 10%입니다" → 근거 없음 ❌
Faithfulness = 2/3 = 0.67
1.0에서 멀어질수록 환각이 섞였다는 뜻입니다.
26차시 Verifier의 grounded 판정을 점수화한 것입니다.

5-2) Answer Relevancy (답변 관련성)

답변이 질문에 실제로 대답하는가
근거에는 충실한데 동문서답인 경우를 잡습니다.
Q: "환불 기간은?"
A: "고객센터는 평일 9시부터 운영합니다" (근거엔 있음)
→ Faithfulness 1.0, Relevancy 0.2
26차시 Verifier의 relevant 판정에 해당합니다.

5-3) Context Precision / Recall

출처: 원본 PDF 12쪽

검색 평가와 생성 평가의 중간 지표입니다.
Context Precision — 넘긴 근거 중 실제로 쓰인 비율
→ 25차시의 used_docs로 계산할 수 있습니다
→ 낮으면 k를 줄여도 된다는 신호입니다
Context Recall — 정답에 필요한 근거를 다 넘겼는가
→ 낮으면 k를 늘리거나 분할을 조정해야 합니다