먼저 큰 그림부터

오늘은 시험지를 만드는 날입니다. 34차시에서 무엇으로 잴지(지표)를 정했다면, 오늘은 그 자로 잴 대상, 곧 정답이 확정된 질문 모음(Golden Set)을 만듭니다. 수업 자료가 첫머리에 못 박는 말은 "평가는 데이터셋 품질을 넘지 못한다"입니다. 내가 문서를 보면서 만든 쉬운 질문만 넣으면 점수는 높게 나오지만 실전에서 무너집니다. 그래서 질문을 여러 곳에서 모으고, 정답과 근거 페이지를 붙이고, 데이터셋 자체를 한 번 더 검증합니다.

오늘 챙겨 갈 것은 세 가지입니다. 첫째, 유형과 난이도를 섞고 부재 질문을 20% 이상 넣는 구성. 둘째, 부재 질문이 정말 문서에 없는지 다시 확인하는 검증. 셋째, Dev와 Holdout으로 나눠 데이터 누출을 막는 습관입니다. 36차시에서는 오늘 만든 Dev Set으로 실제 점수를 재고, Holdout은 40차시 최종 보고까지 열지 않습니다.