35차시. 평가 데이터셋 구축
2. 데이터셋 구성 설계
출처: 원본 PDF 35차시_평가데이터셋구축.pdf 5~6쪽 · 쪽 그림 5쪽 6쪽
50문항을 유형별로 나눠 배치합니다. 비율에도 이유가 있어야 합니다.
| 유형 | 개수 | 예시 | 측정하는 것 |
|---|---|---|---|
| 단순 사실 | 15 | "환불은 며칠 이내인가요?" | 기본 검색·생성 능력 |
| 표현 변형 | 10 | "반품하려면 언제까지?" | 의미 검색 · 재작성 |
| 복합 질문 | 8 | "환불과 교환 차이는?" | 다중 근거 통합 |
| 조건부 | 5 | "불량품도 배송비 내나요?" | 예외 조항 처리 |
| 부재 질문 | 8 | "대표이사 이름은?" | 환각 방지 |
| 범위 밖 | 4 | "오늘 날씨는?" | 29차시 라우팅 |
💡 비율의 근거
단순 사실 30% — 기본기 확인. 여기서 틀리면 심각합니다
표현 변형 20% — 실사용자는 대부분 이렇게 묻습니다
부재 + 범위 밖 24% — 환각 측정에 필요한 최소 비중
부재 질문을 20% 이상 넣는 것이 핵심입니다.
너무 적으면 환각 지표의 신뢰도가 떨어집니다.
자기 서비스의 실제 질문 분포를 안다면
그 비율에 맞추는 것이 가장 좋습니다.
2-1) 난이도 표시
easy — 문서에 그대로 적힌 표현으로 물음 (약 40%)
medium — 표현이 다르거나 근거가 2개 필요 (약 40%)
hard — 조건·예외가 얽히거나 근거가 3개 이상 (약 20%)🎯 난이도를 표시해두면
전체 정답률이 85%라고 해도
· easy 100% · medium 85% · hard 50%
· easy 85% · medium 85% · hard 85%
두 경우는 완전히 다른 시스템입니다.
전자는 복잡한 질문에 약한 것이고
후자는 전반적으로 고르게 부족한 것입니다.
개선 방향이 달라집니다.