40차시. 발표와 정리

1. [0~15분] Holdout 최종 평가

출처: 원본 PDF 40차시_발표와정리.pdf 2쪽 · 쪽 그림 2쪽

드디어 35차시에서 봉인해둔 Holdout Set을 엽니다.

1-1) 왜 Holdout이 진짜 실력인가

🔒 Dev Set의 점수는 부풀려져 있습니다
39차시에서 우리는
· Dev로 평가하고
· 틀린 질문을 보고
· 그에 맞춰 설정을 고쳤습니다
그 결과 Correctness가 85.7%가 됐습니다.
하지만 이 85.7%는
Dev Set에 맞춰진 점수입니다.
처음 보는 질문에서도 그럴까요?
그걸 확인하는 것이 Holdout입니다.

📝 최종 평가 실행

출력

python -m eval.run --dataset data/eval_holdout.json

■ 최종 평가 (Holdout, n=9)
   Correctness   :  77.8%   (Dev 85.7%)
   Faithfulness  : 0.933    (Dev 0.928)
   Abstention    : 100.0%   (Dev 100%)
   평균 응답     :   4.2초

💡 Dev보다 낮게 나오는 것이 정상입니다
Dev 85.7% → Holdout 77.8% (-7.9%p)
이 차이가 데이터 누출의 크기입니다.
차이가 5%p 이내 — 건강합니다
차이가 10%p 이상 — Dev에 과하게 맞췄습니다
Holdout이 9문항뿐이라 1문항이 11%p입니다.
표본이 적으니 참고치로만 해석하세요.
발표에서는 두 숫자를 모두 밝히세요.