이번 차시에서 배우는 것

출처: 원본 PDF 34차시_RAG평가개요.pdf 1쪽 · 쪽 그림 1쪽

RAG 평가 개요 — 잘한다는 것을 어떻게 증명할까

✓ 왜 "체감상 좋아졌다"로는 부족한지 이해한다
✓ 검색 평가와 답변 평가를 구분한다
✓ Precision · Recall · MRR 등 검색 지표를 이해한다 ✓ Faithfulness · Relevancy 등 답변 지표를 이해한다 ✓ 내 시스템에 맞는 지표를 골라 평가 체계를 설계한다 ✓ 지금까지 쓴 "정답률"의 한계를 안다

교안 해설: 이 시간에 하는 일

출처: 교안 보충_평가설계.md

정답률 하나로는 부족합니다. 검색 평가는 정답 조각이 상위 k 안에 왔는지이고, 답변 평가는 그 조각이 있을 때 문장이 키워드를 포함하고 근거 밖을 말하지 않는지입니다. 둘을 섞으면 프롬프트를 고쳐야 할 일을 인덱스로 고칩니다.

회귀 테스트는 질문마다 기대 키워드와, 문서에 없을 때 거절해야 한다는 표시를 둡니다. 통과는 키워드 포함이고, 없는 질문의 통과는 지어내지 않는 것입니다. test_regression.py는 API가 필요해 예시입니다. 기록상 환불 질문은 pass, 대표이사 질문은 giveup입니다.

평가 질문 세트에만 맞춰 점수가 오르면 새 질문에서 다시 떨어집니다. 그래서 세트와 코드를 따로 둡니다.