8. 실습 — 평가 설계서 작성

# RAG 평가 설계서

## 1. 평가 목적
- 32차시 시스템의 품질을 정량적으로 증명한다
- 개선이 필요한 단계를 특정한다
- 향후 변경 시 회귀를 감지한다

## 2. 평가 지표

| 층 | 지표 | 목표 | 측정 방법 | 주기 |
|---|---|---|---|---|
| 검색 | Hit Rate@5 | ≥ 90% | 정답 페이지 대조 | 매 변경 시 |
| 검색 | MRR | ≥ 0.75 | 정답 순위 기록 | 매 변경 시 |
| 생성 | Faithfulness | ≥ 0.95 | LLM 심판 | 주 1회 |
| 생성 | Relevancy | ≥ 0.90 | LLM 심판 | 주 1회 |
| 전체 | Correctness | ≥ 90% | 정답 대조 + 심판 | 주 1회 |
| 운영 | P95 응답시간 | ≤ 8초 | 로그 분석 | 매일 |

## 3. 평가 데이터셋
- 규모: 50문항 (35차시에서 구축)
- 구성: 단순 사실 20 / 복합 10 / 표현변형 10 / 부재 10
- 출처: 12차시 실패 사례 + 신규 작성

## 4. 합격 기준
- 모든 지표가 목표치 이상
- 이전 버전 대비 어느 지표도 5%p 이상 하락하지 않음

## 5. 미측정 항목과 이유
- Precision/Recall: 조각별 관련성 라벨링 비용이 커서 보류
- 사용자 만족도: 실사용자가 없어 측정 불가