37차시. 루브릭 설계
확인문제와 해답
객관식
Q1루브릭의 수준 기술로 가장 알맞은 것은 무엇일까요?
해설 "훌륭하다", "매우" 같은 말은 사람마다 다르게 읽습니다. 틀린 사실의 개수처럼 세어 볼 수 있는 기준이어야 채점자가 달라도 같은 판정이 나옵니다. (37차시 「3. 좋은 루브릭의 조건」 › 3-2) 조건 ② — 수준 간 경계가 명확해야 한다)
Q2가중 평균 외에 Gate 조건(예: 정확성 ≥ 1점)을 따로 두는 까닭은 무엇일까요?
해설 정확성 0점이어도 나머지가 2점이면 가중 평균이 1.30점으로 합격선 1.2를 넘습니다. Gate는 이런 답을 총점과 무관하게 떨어뜨립니다. (37차시 「4. 가중치 정하기」 › 4-1) 필수 항목 (Gate) 두기)
Q3두 채점자가 같은 답변 다섯 개를 채점했더니 평균 차이가 0.35 였습니다. 어떻게 해야 할까요?
해설 평균 차이가 0.3을 넘으면 루브릭 수정이 필요합니다. 갈린 답변을 보면 대개 기준 문장이 모호했던 곳이 드러납니다. (37차시 「6. 실습 ② — 채점자 간 일치도 확보」 › 6-2) 일치도 목표)
단답형
- 루브릭에서 항목별 중요도를 나타내며, 합이 100%가 되게 배분하는 값을 무엇이라 할까요?
정답 보기
가중치
해설 가중치는 서비스 성격에 따라 달라집니다. 의료·법률 상담은 정확성과 근거성에, 고객 응대 챗봇은 명료성에 더 줍니다. (37차시 「4. 가중치 정하기」)
- "항목 A에서 감점될 때 항목 B도 항상 감점되는가?" 에 그렇다고 답하게 되면 두 항목을 어떻게 해야 할까요?
정답 보기
하나로 합친다
해설 겹치는 두 항목을 따로 두면 한 번 틀린 것이 두 번 감점되어 그 요소의 가중치가 사실상 두 배가 됩니다. (37차시 「3. 좋은 루브릭의 조건」 › 3-3) 조건 ③ — 항목이 겹치지 않아야 한다)
정답
정답 전체 보기
객관식: 1-D, 2-B, 3-C
단답형: 1. 가중치. 2. 하나로 합친다.