35차시. 평가 데이터셋 구축
확인문제와 해답
객관식
Q1평가 데이터셋에 부재 질문(문서에 답이 없는 질문)을 꼭 넣는 까닭은 무엇일까요?
해설 답이 있는 질문만 넣으면 시스템이 모르는 것을 아는 척하는지 잴 방법이 없습니다. 그래서 부재 질문을 20% 이상 넣습니다. (35차시 「1. 평가는 데이터셋 품질을 넘지 못한다」 › 1-1) 나쁜 데이터셋의 증상)
Q2평가를 돌려 85%가 나왔고, 틀린 질문 5개를 보고 프롬프트를 고친 뒤 다시 돌렸더니 95%가 됐습니다. 가장 알맞은 해석은 무엇일까요?
해설 틀린 질문에만 맞춰 고친 것이라 새 질문에서는 여전히 85%일 수 있습니다. 이것이 데이터 누출이고, 튜닝에 쓰지 않은 Holdout 점수가 진짜 실력입니다. (35차시 「7. 데이터 누출 방지」 › 7-1) 무엇이 문제인가)
Q3데이터셋 v1(50문항)에서 90%, 어려운 질문 20개를 더한 v2(70문항)에서 85%가 나왔습니다. 올바른 대응은 무엇일까요?
해설 데이터셋이 바뀌면 이전 점수와 견줄 수 없습니다. 버전을 결과와 함께 적고, 바꿨으면 기준선을 다시 잽니다. (35차시 「8. 데이터셋 관리」 › 8-1) 버전 관리)
단답형
- 튜닝에 쓰지 않고 최종 성능 보고에만 쓰려고 남겨 두는 데이터 묶음을 ____ Set 이라고 합니다.
정답 보기
Holdout
해설 Dev Set은 튜닝하며 자유롭게 보고, Holdout Set은 40차시 최종 보고 때만 엽니다. (35차시 「7. 데이터 누출 방지」 › 7-2) Dev / Holdout 분리)
- validate_dataset.py 는 부재 질문으로 검색했을 때 최고 점수가 얼마보다 크면 "실제로 답이 있을 수 있습니다" 라고 경고할까요?
정답 보기
0.6
해설
if best > 0.6:줄이 그 기준입니다. Q037처럼 서명란에 답이 있던 질문이 이 검사에서 걸렸습니다. (35차시 「6. 실습 ③ — 데이터셋 검증」)
정답
정답 전체 보기
객관식: 1-B, 2-D, 3-A
단답형: 1. Holdout. 2. 0.6.