35차시. 평가 데이터셋 구축
정리
- 평가는 데이터셋 품질을 넘지 못합니다. 좋은 질문은 정답이 명확하고, 사용자 말투이고, 근거 위치를 짚을 수 있고, 난이도가 섞이고, 부재 질문이 들어 있습니다. (35차시 「1. 평가는 데이터셋 품질을 넘지 못한다」 › 1-2) 좋은 평가 질문의 5가지 조건)
- 50문항을 유형별로 나누고 부재·범위 밖 질문을 20% 넘게 넣습니다. 난이도를 표시해 두면 같은 85%라도 어디가 약한지 갈라 볼 수 있습니다. (35차시 「2. 데이터셋 구성 설계」 › 2-1) 난이도 표시)
- 질문은 실패 사례, 문서 역방향 생성, 남에게 받기, 운영 로그에서 모읍니다. 문서를 안 본 사람의 질문이 가장 값집니다. (35차시 「3. 실습 ① — 질문 수집하기」 › 3-3) 방법 ③ — 남에게 받기 (가장 중요))
- 문항마다 id, question, type, difficulty, answerable, gold_answer, gold_pages, keywords 를 붙여야 채점할 수 있습니다. (35차시 「4. 실습 ② — 라벨링하기」 › 4-1) 라벨 항목)
- 검증 스크립트로 구성·누락·중복을 보고, 부재 질문은 검색 점수로 정말 없는지 다시 확인합니다. (35차시 「6. 실습 ③ — 데이터셋 검증」)
- 평가 데이터로 튜닝하면 점수가 부풀려집니다. Dev와 Holdout을 70:30으로 나누고, 데이터셋 버전이 다르면 점수를 견주지 않습니다. (35차시 「7. 데이터 누출 방지」 › 7-2) Dev / Holdout 분리)