5. 라벨링의 어려운 지점

출처: 원본 PDF 35차시_평가데이터셋구축.pdf 11~12쪽 · 쪽 그림 11쪽 12쪽

5-1) gold_pages를 어떻게 정하나

📄 근거 페이지 찾는 순서
① 문서를 직접 열어 Ctrl+F로 찾습니다
가장 확실합니다. 시간이 걸려도 이 방법이 정확합니다
② 조각 번호로도 함께 기록합니다
7차시에서 chunk_id를 넣어둔 이유입니다
페이지보다 정밀한 평가가 가능해집니다
③ 근거가 여러 곳이면 모두 적습니다
복합 질문은 gold_pages가 2~3개입니다
④ 애매하면 그 질문을 빼세요
근거를 특정할 수 없는 질문은
평가 질문으로 부적합합니다

5-2) 부재 질문의 함정

⚠️ "정말 없는지" 확인하세요
"대표이사 이름은?"을 부재 질문으로 넣었는데
문서 마지막 페이지 서명란에 이름이 있다면?
→ 시스템이 맞게 답했는데 오답으로 채점됩니다
→ 평가 결과 전체가 왜곡됩니다
부재 질문은 특히 신중하게 검증하세요.
문서 전체를 검색해보고 정말 없는지 확인합니다.

5-3) gold_answer 작성 요령

❌ 너무 짧음

   "7일"
   → LLM 심판이 비교하기 어렵습니다

❌ 너무 김

   "환불에 관한 규정은 이용약관 제12조에 명시되어 있으며,
    소비자보호법에 따라 상품 수령일로부터 기산하여..."
   → 시스템이 이렇게 답할 리 없어 항상 감점됩니다

✅ 적당함

   "상품 수령 후 7일 이내에 신청해야 합니다."
   → 핵심 사실이 명확하고 길이가 현실적입니다