36차시. 평가 실습
정리
- 오늘은 Dev Set만 씁니다. 측정과 개선을 반복하면 Dev Set은 자연히 누출되므로, Holdout은 40차시 최종 보고에만 엽니다. (36차시 「1. 오늘의 작업 순서」)
- 검색 평가는 LLM을 부르지 않아 비용이 0입니다. 정답 페이지가 몇 위에 나왔는지로 Hit Rate와 MRR을 계산합니다. (36차시 「2. 실습 ① — 검색 평가」)
- Hit Rate는 높은데 MRR이 낮으면 정답을 찾긴 해도 뒤로 밀린다는 뜻이고, Re-ranking이 필요한 신호입니다. (36차시 「3. 검색 평가 결과 읽기」 › 3-1) MRR 0.742의 의미)
- 답변 평가는 생성과 다른 모델을 temperature 0으로 심판 삼아 Faithfulness와 Correctness를 잽니다. (36차시 「4. 실습 ② — 답변 평가」)
- 전체 점수는 쪼개 봐야 고칠 곳이 보입니다. 다만 표본이 3건뿐인 그룹의 비율은 1건에 33%p가 움직이므로 결론을 내리지 않습니다. (36차시 「7. 결과 진단 — 무엇을 고칠까」 › 7-1) 개선 우선순위표)
- k를 키우거나 임계값을 올리거나 검증을 빼면 한 지표가 오르는 대신 다른 지표가 떨어집니다. 어느 설정도 전부 좋지는 않습니다. (36차시 「8. 실습 ⑤ — 트레이드오프 확인」)