35차시. 평가 데이터셋 구축
9. 자주 겪는 문제
출처: 원본 PDF 35차시_평가데이터셋구축.pdf 20쪽 · 쪽 그림 20쪽
| 증상 | 원인과 해결 |
|---|---|
| 점수가 비정상적으로 높음 (98%+) | 질문이 너무 쉽거나 문서 표현을 그대로 씀. 남에게 질문을 받으세요 |
| 부재 질문인데 맞는 답이 나옴 | 문서에 실제로 있는 내용입니다. 검증 스크립트로 확인하세요 |
| gold_pages를 특정할 수 없음 | 그 질문은 평가에 부적합합니다. 빼거나 질문을 구체화하세요 |
| 채점자마다 판정이 다름 | gold_answer가 모호합니다. 핵심 사실을 명확히 쓰세요 |
| 50문항 만들기가 너무 힘듦 | 30문항으로 시작해도 됩니다. 운영하며 늘리세요 |
| 튜닝했더니 점수가 급등함 | 데이터 누출입니다. Holdout으로 확인하세요 |
9-1) 최소 규모
💡 몇 문항이면 충분한가
20문항 미만 — 통계적 의미가 약합니다
1문항이 5%p라 우연에 크게 흔들립니다
30~50문항 — 개인 프로젝트에 적당합니다
1문항이 2~3%p로 어느 정도 안정적입니다
100문항 이상 — 실무 서비스 권장
유형별로도 의미 있는 분석이 가능합니다
이 과정에서는 50문항을 목표로 합니다.
시간이 부족하면 30문항으로 시작해도 좋습니다.