1. 평가는 데이터셋 품질을 넘지 못한다

출처: 원본 PDF 35차시_평가데이터셋구축.pdf 3쪽 · 쪽 그림 3쪽

아무리 좋은 지표를 써도, 질문이 엉망이면 평가 결과는 의미가 없습니다.

1-1) 나쁜 데이터셋의 증상

⚠️ 흔한 문제들
① 내가 만들어서 내가 아는 질문만
문서를 보면서 질문을 만들면
나도 모르게 문서 표현을 그대로 씁니다
→ 실제 사용자보다 훨씬 쉬운 질문이 됩니다
② 쉬운 질문만 있음
"환불 기간은?" 같은 단순 사실 질문만
→ 점수는 높게 나오지만 실전에서 무너집니다
③ 부재 질문이 없음
답이 있는 질문만 넣으면
환각을 전혀 측정할 수 없습니다
④ 정답이 모호함
"환불 절차 설명해줘" → 무엇이 정답인지 사람마다 다름
→ 채점이 불가능합니다

1-2) 좋은 평가 질문의 5가지 조건

✅ 이 다섯 가지를 만족해야 합니다
① 정답이 명확하다
채점자가 달라도 같은 판정이 나와야 합니다
② 실제 사용자의 말투다
문서 표현을 그대로 베끼지 않습니다
③ 근거 위치를 특정할 수 있다
"3페이지 2문단"처럼 짚을 수 있어야 합니다
④ 난이도가 다양하다
쉬운 것과 어려운 것이 섞여 있어야 합니다
⑤ 부재 질문이 포함된다
"모른다"고 답해야 정답인 질문이 필요합니다