체크리스트와 과제

원본 PDF 끝부분의 체크리스트, 과제, 다음 차시 미리보기를 한 페이지에 모았습니다.

이번 차시 체크리스트

출처: 원본 PDF 21쪽 · 쪽 그림 21쪽

개념 이해
□ 키워드 채점의 한계 4가지를 안다
□ 검색 평가와 생성 평가를 나누는 이유를 안다
□ Precision과 Recall의 차이를 예로 설명할 수 있다
□ RAG에서 Recall이 더 중요한 이유를 안다
□ MRR이 순위를 어떻게 반영하는지 안다
□ Faithfulness와 Relevancy의 차이를 안다
□ LLM 심판의 3가지 편향을 안다
□ 지표 간 트레이드오프를 설명할 수 있다
실습
□ 평가 설계서를 작성했다
□ 측정할 지표 3~5개를 골랐다
□ 각 지표의 목표치와 근거를 정했다
□ 미측정 항목과 이유를 적었다

과제

출처: 원본 PDF 21쪽 · 쪽 그림 21쪽

🎯 이번 차시 과제
1. 평가 설계서 작성 (필수)
본문 형식으로 내 시스템의 평가 계획을 세우세요.
​| 층 | 지표 | 목표 | 측정 방법 | 주기 |
목표치에는 반드시 근거를 적으세요.
("현재 85%이므로 +5%p" 처럼)
2. 기존 정답률 재검토 (필수)
14차시에서 쓴 키워드 채점 방식으로
잘못 채점된 사례를 찾으세요.
· 우연히 맞은 것으로 처리된 건: ___건
· 맞는데 틀린 것으로 처리된 건: ___건
3. 트레이드오프 예측 (권장)
아래 변경 시 어느 지표가 오르고 내릴지 예측하세요.
· k를 5 → 10으로
· MIN_SCORE를 0.39 → 0.55로
· 검증 단계 제거
36차시에서 실제로 측정해 예측과 비교합니다.

다음 차시 미리보기

출처: 원본 PDF 22쪽 · 쪽 그림 22쪽

35차시: 평가 데이터셋 구축
지표를 정했으니 이제 잴 대상이 필요합니다.
· 좋은 평가 질문의 조건
· 12차시 실패 사례를 정식 데이터셋으로
· 정답과 근거 페이지 라벨링하기
· 난이도별 · 유형별 균형 맞추기
· 50문항 Golden Set 완성
평가의 품질은 데이터셋의 품질을 넘지 못합니다.

💬 마무리
14차시에서 "측정할 수 없으면 개선할 수 없다"고 했습니다. 오늘은 그 측정을 제대로 하는 법을 배웠습니다.
지금까지 쓴 정답률은 방향을 잡기엔 충분했지만, "이 시스템이 왜 좋은가"를 설명하기엔 부족했습니다. 검색이 좋은 건지 생성이 좋은 건지도 몰랐고, 환각이 없다는 것도 증명할 수 없었습니다.
그리고 오늘 배운 것 중 가장 중요한 것은 "하나의 지표만 보면 안 된다"는 사실입니다.
Faithfulness 100%인 시스템은 "확인할 수 없습니다"만 말하면 됩니다. 그런 시스템은 아무쓸모가 없습니다.
좋은 평가는 균형을 봅니다.
다음 차시에서 만나요! 📐