7. 자동 평가 vs 사람 평가

출처: 원본 PDF 34차시_RAG평가개요.pdf 15쪽 · 쪽 그림 15쪽

⚠️ LLM 심판의 함정
① 자기 편향
같은 모델이 만든 답에 후한 점수를 줍니다
→ 생성과 평가에 다른 모델을 쓰면 완화됩니다
② 위치 편향
A/B 비교 시 먼저 나온 쪽을 선호합니다
→ 순서를 바꿔 두 번 평가하면 완화됩니다
③ 길이 편향
긴 답변을 더 좋게 봅니다
→ 프롬프트에 "길이는 평가하지 말라"를 명시
LLM 심판은 편리하지만 만능이 아닙니다.
중요한 판단은 사람이 표본 검증해야 합니다.

7-1) 현실적인 조합

⚖️ 실무에서 쓰는 3단 구성
① 매일 — 코드 기반 자동 평가
Hit Rate, Context Precision
→ 비용 0원, CI에 넣어 자동 실행
② 주 1회 — LLM 심판 평가
Faithfulness, Relevancy
→ 질문 50~100개 규모
③ 월 1회 — 사람 표본 검증
질문 20개를 사람이 직접 채점
→ LLM 심판이 사람과 얼마나 일치하는지 확인
③이 없으면 ②를 믿을 근거가 없습니다.