34차시. RAG 평가 개요
확인문제와 해답
객관식
Q1k=5로 검색해 가져온 조각 5개 중 관련 있는 것이 3개이고, 문서 전체에 관련 조각이 4개 있습니다. Recall@5는 무엇일까요?
해설 Recall은 관련 있는 것 중 가져온 비율이라 3/4 = 0.75입니다. 3/5 = 0.60은 Precision입니다. (34차시 「3. 검색 평가 지표」 › 3-1) Precision과 Recall)
Q2질문 세 개에서 정답 조각이 각각 1위, 2위, 없음으로 나왔습니다. MRR은 무엇일까요?
해설 점수는 1.00, 0.50, 0.00이고 평균은 1.50 / 3 = 0.50입니다. 정답이 없으면 0점으로 평균에 들어갑니다. (34차시 「4. 순위를 반영하는 지표」 › 4-2) MRR (Mean Reciprocal Rank))
Q3LLM 심판의 편향과 완화 방법이 바르게 짝지어진 것은 무엇일까요?
해설 위치 편향은 순서를 바꿔 두 번, 자기 편향은 다른 모델로, 길이 편향은 프롬프트에 길이를 평가하지 말라고 적어 완화합니다. (34차시 「7. 자동 평가 vs 사람 평가」)
단답형
- 답변의 주장이 근거 안에 있는 정도를 재는, 환각의 반대말인 답변 지표는 ____ 입니다.
정답 보기
Faithfulness
해설 답변을 문장 단위로 쪼개 근거가 있는 문장의 비율을 셉니다. (34차시 「5. 답변 평가 지표」 › 5-1) Faithfulness (근거 충실성))
- 상위 k개 안에 정답이 하나라도 있는지만 보는 가장 단순한 검색 지표는 ____ 입니다.
정답 보기
Hit Rate
해설 계산이 쉬워 실무에서 많이 쓰며, 24차시의 검색 정확도가 사실상 이 지표입니다. (34차시 「4. 순위를 반영하는 지표」)
정답
정답 전체 보기
객관식: 1-B, 2-D, 3-C
단답형: 1. Faithfulness. 2. Hit Rate.