체크리스트와 과제

원본 PDF 끝부분의 체크리스트, 과제, 다음 차시 미리보기를 한 페이지에 모았습니다.

이번 차시 체크리스트

출처: 원본 PDF 22쪽 · 쪽 그림 22쪽

개념 이해
□ 검색 평가는 비용 0임을 안다
□ MRR 수치가 무엇을 의미하는지 해석할 수 있다
□ 같은 "검색 실패"도 처방이 다름을 안다
□ 표본이 적은 그룹의 비율을 해석하면 안 되는 이유를 안다
□ 심판 모델을 다르게 쓰는 이유를 안다
□ 지표 간 트레이드오프를 데이터로 확인했다
실습
□ Hit Rate와 MRR을 계산했다
□ Faithfulness와 Correctness를 측정했다
□ 부재 질문의 Abstention을 확인했다
□ 난이도별 · 유형별로 쪼개 분석했다
□ 실패 사례를 원인별로 분류했다
□ 설정 변경 실험(ablation)을 수행했다
□ 평가 리포트를 생성했다
□ 개선 우선순위를 근거와 함께 정했다

과제

출처: 원본 PDF 22쪽 · 쪽 그림 22쪽

🎯 이번 차시 과제
1. 전체 평가 실행 (필수)
Dev Set으로 측정하고 리포트를 생성하세요.
​| 지표 | 결과 | 목표 | 달성 |
​| Hit Rate@5 | | | |
​| MRR | | | |
​| Correctness | | | |
​| Faithfulness | | | |
​| Abstention | | | |
2. 세분화 분석 (필수)
난이도별 · 유형별 정답률을 내고
가장 약한 구간을 특정하세요.
표본이 5건 미만인 그룹은 "판단 보류"로 표시하세요.
3. 트레이드오프 실험 (필수)
34차시에서 예측한 3가지를 실제로 측정하고
예측과 맞았는지 비교하세요.
​| 변경 | 내 예측 | 실제 결과 | 일치? |
4. 개선 계획 (필수)
우선순위 3가지와 예상 효과를 적으세요.
37차시 이후 실제로 적용하고 재측정합니다.

다음 차시 미리보기

출처: 원본 PDF 23쪽 · 쪽 그림 23쪽

37차시: 루브릭 설계
지금까지의 평가는 "맞다/틀리다" 이분법이었습니다.
그런데 실무에서는 "얼마나 잘했나"가 중요합니다.
· 이분법 채점의 한계
· 다차원 루브릭 만들기
· 항목별 배점과 가중치 설계
· 사람 평가자 간 일치도 확보
· 38~40차시 프로젝트 평가 기준 확정
내 프로젝트를 무엇으로 평가받을지 직접 정합니다.

💬 마무리
오늘 처음으로 내 시스템의 실력을 숫자로 봤습니다.
그런데 더 중요한 것은 전체 점수가 아니라 쪼개서 봤을 때 드러난 것들입니다.
easy는 100%인데 hard는 71%, 부재 질문은 완벽한데 복합 질문은 67%. "검증은 통과했는데 정답이 아닌" 사례들.
전체 점수 88.6%만 봤다면 무엇을 고쳐야 할지 전혀 몰랐을 겁니다.
그리고 ablation 실험에서 확인했듯이 어떤 설정도 모든 지표를 만족시키지 못합니다. 검증을 빼면 빨라지지만 환각이 돌아옵니다. 결국 무엇을 더 중요하게 볼 것인가의 문제입니다. 그 기준을 정하는 것이 다음 차시입니다.
다음 차시에서 만나요! 📊