체크리스트와 과제

원본 PDF 끝부분의 체크리스트, 과제, 다음 차시 미리보기를 한 페이지에 모았습니다.

이번 차시 체크리스트

출처: 원본 PDF 21쪽 · 쪽 그림 21쪽

개념 이해
□ 좋은 평가 질문의 5가지 조건을 안다
□ 부재 질문이 왜 필요한지 안다
□ 난이도를 표시하는 이유를 안다
□ 데이터 누출이 무엇인지 설명할 수 있다
□ Dev와 Holdout을 나누는 이유를 안다
□ 데이터셋 버전이 바뀌면 비교할 수 없음을 안다
실습
□ 12차시 실패 사례를 데이터셋에 포함했다
□ 문서를 안 본 사람에게 질문을 받았다
□ 50문항(또는 30문항 이상)을 수집했다
□ 모든 문항에 라벨을 붙였다
□ 검증 스크립트로 구성·누락·중복을 확인했다
□ 부재 질문이 정말 부재인지 재검증했다
□ Dev/Holdout으로 분리했다
□ 데이터셋에 버전을 붙여 저장했다

과제

출처: 원본 PDF 21쪽 · 쪽 그림 21쪽

🎯 이번 차시 과제 — 이 과정 최대의 자산 만들기
1. Golden Set 구축 (필수)
최소 30문항, 목표 50문항을 만드세요.
​| 유형 | 목표 개수 | 실제 개수 |
​| 단순 사실 | 15 | |
​| 표현 변형 | 10 | |
​| 복합 | 8 | |
​| 조건부 | 5 | |
​| 부재 | 8 | |
​| 범위 밖 | 4 | |
2. 남에게 질문 받기 (필수)
문서를 안 본 사람 2명에게 각 5개씩 질문을 받으세요.
그중 몇 개가 문서에 답이 없었는지 기록하세요.
→ 이것이 문서 보강 목록이 됩니다.
3. 검증 실행 (필수)
validate_dataset.py를 돌리고 결과를 기록하세요.
특히 부재 질문 재검증에서 걸린 항목을 수정하세요.
4. Dev/Holdout 분리 (필수)
70:30으로 나누고 Holdout은 열어보지 마세요.
36차시에서 Dev로 측정하고,
40차시 최종 보고에 Holdout을 씁니다.

다음 차시 미리보기

출처: 원본 PDF 22쪽 · 쪽 그림 22쪽

36차시: 평가 실습
지표(34차시)와 데이터셋(35차시)이 준비됐습니다.
이제 실제로 측정합니다.
· Hit Rate · MRR 자동 계산
· LLM 심판으로 Faithfulness 측정
· 유형별 · 난이도별 분석
· 약점 진단과 개선 우선순위 도출
· 평가 리포트 자동 생성
내 시스템의 진짜 실력이 드러납니다.

💬 마무리
오늘 만든 Golden Set은 이 과정에서 얻는 가장 오래 남는 자산일지도 모릅니다.
코드는 라이브러리가 바뀌면 다시 짜야 합니다. 프롬프트는 모델이 바뀌면 다시 다듬어야 합니다. 하지만 "이 질문들에 제대로 답해야 한다"는 기준은 기술이 바뀌어도 그대로 남습니다. 그리고 오늘 과제 2번을 꼭 해보세요. 문서를 안 본 사람에게 질문을 받으면 내가 만든 시스템이 얼마나 내 머릿속 사용자만 상대하고 있었는지 알게 됩니다.
평가의 품질은 데이터셋의 품질을 넘지 못합니다.
다음 차시에서 만나요! 📋