35차시. 평가 데이터셋 구축

8. 데이터셋 관리

출처: 원본 PDF 35차시_평가데이터셋구축.pdf 18쪽 · 쪽 그림 18쪽

8-1) 버전 관리

출력

data/
├── eval_set_v1.json      50문항 (35차시 최초 구축)
├── eval_set_v2.json      70문항 (운영 로그 20문항 추가)
├── eval_dev.json         현재 사용 중인 Dev
└── eval_holdout.json     현재 사용 중인 Holdout

⚠️ 데이터셋을 바꾸면 이전 점수와 비교할 수 없습니다
v1에서 90%, v2에서 85%가 나왔다면
시스템이 나빠진 걸까요?
아닙니다. 어려운 질문이 20개 추가됐을 뿐입니다.
규칙
· 데이터셋 버전을 결과와 함께 기록합니다
· 비교는 같은 버전끼리만 합니다
· 데이터셋을 바꿨으면 기준선을 다시 잽니다

8-2) 언제 데이터셋을 늘리나

신호	대응
모든 지표가 목표치를 넘음	더 어려운 질문을 추가합니다
운영 로그에 새 유형이 보임	해당 유형을 데이터셋에 반영합니다
문서가 갱신됨	새 내용에 대한 질문을 추가합니다
사용자 불만이 접수됨	그 질문을 반드시 넣습니다

📈 데이터셋은 계속 자랍니다
처음 50문항으로 시작해서
운영하면서 100 → 200문항으로 늘려갑니다.
가장 좋은 추가 재료는 실패 사례입니다.
사용자가 불만을 제기한 질문,
fallback으로 빠진 질문,
재검색이 발생한 질문.
12차시부터 계속 강조한 것과 같습니다.
실패를 모으는 습관이 시스템을 키웁니다.