35차시. 평가 데이터셋 구축

4. 실습 ② — 라벨링하기

출처: 원본 PDF 35차시_평가데이터셋구축.pdf 9쪽 · 쪽 그림 9쪽

질문만으로는 채점할 수 없습니다. 정답 정보를 붙여야 합니다.

4-1) 라벨 항목

항목	내용	쓰이는 곳
id	고유 번호	결과 추적
question	질문 문장	입력
type	유형 (fact/variant/...)	유형별 분석
difficulty	easy / medium / hard	난이도별 분석
answerable	문서에 답이 있는가	환각 측정
gold_answer	모범 답안	LLM 심판 기준
gold_pages	근거가 있는 페이지	Hit Rate · MRR
keywords	정답에 포함돼야 할 단어	빠른 자동 채점

📝 data/eval_set.json

출력

[
  {
    "id": "Q001",
    "question": "환불은 며칠 이내에 신청해야 하나요?",
    "type": "fact",
    "difficulty": "easy",
    "answerable": true,
    "gold_answer": "상품 수령 후 7일 이내에 신청해야 합니다.",
    "gold_pages": [4],
    "keywords": ["7일"]
  },
  {
    "id": "Q002",
    "question": "물건이 고장 나서 왔는데 바꿀 수 있나요?",
    "type": "variant",
    "difficulty": "medium",
    "answerable": true,
    "gold_answer": "상품 불량의 경우 30일 이내에 교환이 가능하며 배송비는 당사가 부담합
니다.",
    "gold_pages": [5],
    "keywords": ["30일", "교환"]
  },
  {
    "id": "Q003",
    "question": "단순 변심이랑 불량이랑 배송비가 다른가요?",
    "type": "compound",
    "difficulty": "hard",
    "answerable": true,
    "gold_answer": "단순 변심은 고객이 왕복 배송비를 부담하고, 상품 불량은 당사가 부담
합니다.",
    "gold_pages": [4, 5],
    "keywords": ["고객", "당사"]
  },
  {
    "id": "Q004",
    "question": "대표이사 성함이 어떻게 되나요?",
    "type": "absent",
    "difficulty": "easy",
    "answerable": false,
    "gold_answer": "자료에서 확인할 수 없습니다.",
    "gold_pages": [],
    "keywords": ["확인할 수 없"]
  }
]