36차시. 평가 실습
1. 오늘의 작업 순서
출처: 원본 PDF 36차시_평가실습.pdf 3쪽 · 쪽 그림 3쪽
┌─────────────────────────────────────────┐
│ ① 검색 평가 (LLM 불필요, 비용 0) │
│ Hit Rate · MRR · Context Precision │
├─────────────────────────────────────────┤
│ ② 답변 평가 (LLM 심판, 비용 발생) │
│ Faithfulness · Correctness │
├─────────────────────────────────────────┤
│ ③ 세분화 분석 │
│ 유형별 · 난이도별 · 실패 사례 분류 │
├─────────────────────────────────────────┤
│ ④ 리포트 생성 │
│ 표 + 진단 + 개선 우선순위 │
└─────────────────────────────────────────┘⚠️ 오늘은 Dev Set만 씁니다
35차시에서 나눈 Holdout은 열지 마세요.
오늘 측정 → 개선 → 다시 측정을 반복할 텐데,
그 과정에서 Dev Set은 자연히 "누출"됩니다.
Holdout은 40차시 최종 보고에만 씁니다.
그래야 진짜 실력을 말할 수 있습니다.