2. [15~35분] 평가셋 구축

출처: 원본 PDF 39차시_미니프로젝트구현.pdf 5~6쪽 · 쪽 그림 5쪽 6쪽

20분 안에 30문항을 만들어야 합니다. 요령이 필요합니다.

2-1) 빠르게 만드는 순서

2-2) 목표 구성 (30문항)

단순 사실   10개   "연차는 며칠인가요?"
표현 변형    6개   "휴가 며칠 쓸 수 있어?"
복합         4개   "연차와 병가는 어떻게 다른가요?"
조건부       3개   "수습기간에도 연차가 있나요?"
부재         5개   "대표이사 연봉은?"
범위 밖      2개   "오늘 날씨는?"

⚠️ 라벨링에서 시간을 아끼는 법
gold_pages를 찾는 데 오래 걸립니다.
요령: 질문을 시스템에 넣어보고
검색된 페이지가 맞는지 확인만 하세요.
r = ask(q)
print(r["sources"]) → 이 페이지가 맞나?
맞으면 그대로 gold_pages에 적습니다.
틀리면 문서에서 직접 찾습니다.
대부분은 맞으므로 시간이 크게 절약됩니다.
단, 부재 질문은 반드시 직접 검증하세요.
(35차시에서 배운 함정입니다)

2-3) Dev/Holdout 분리

출처: 원본 PDF 6쪽

30문항 → Dev 21문항 / Holdout 9문항 (70:30)

python -c "from eval.split import split_dataset; split_dataset()"

💡 Holdout은 40차시까지 열지 마세요
오늘 개선은 Dev로만 합니다.
40차시에 Holdout으로 최종 성능을 측정하면
"이게 진짜 실력입니다"라고 말할 수 있습니다.