RAG2026-5일37차시 · 루브릭 설계6 / 18← 이전목차다음 →MetaContents

37차시. 루브릭 설계

3. 좋은 루브릭의 조건

출처: 원본 PDF 37차시_루브릭설계.pdf 7~8쪽 · 쪽 그림 7쪽 8쪽

3-1) 조건 ① — 관찰 가능해야 한다

❌ 나쁜 기술

출력
   "답변이 훌륭하다"
   "사용자가 만족할 만하다"
   → 사람마다 다르게 해석합니다

✅ 좋은 기술

출력
   "모든 사실 주장이 근거 자료 안에 있다"
   "답변에 [숫자] 형식의 출처가 표시되어 있다"
   → 누가 봐도 같은 판정이 나옵니다

3-2) 조건 ② — 수준 간 경계가 명확해야 한다

🚧 경계가 흐리면 채점이 갈립니다

❌ 흐린 경계
1점: "대체로 정확함"
2점: "매우 정확함"
→ "대체로"와 "매우"의 차이가 뭔가요?

✅ 명확한 경계
1점: "틀린 사실이 1개 이하"
2점: "틀린 사실이 없음"
→ 세어보면 됩니다
가능하면 셀 수 있는 기준으로 쓰세요.

3-3) 조건 ③ — 항목이 겹치지 않아야 한다

⚠️ 항목 중복의 함정
"정확성"과 "신뢰성"을 따로 두면
사실상 같은 것을 두 번 평가하게 됩니다.
→ 한 번 틀리면 두 항목에서 감점됩니다
→ 그 요소의 실제 가중치가 두 배가 됩니다
점검 방법
"항목 A에서 감점될 때 항목 B도 항상 감점되는가?"
→ 그렇다면 두 항목은 하나로 합쳐야 합니다.

3-4) 조건 ④ — 수준은 3~4단계

출처: 원본 PDF 8쪽

2단계 — 이분법과 같아 변별력이 없습니다
3~4단계 — 적당합니다. 대부분의 루브릭이 이 범위입니다
5단계 이상 — 3점과 4점을 구분하기 어려워집니다
채점자가 고민하는 시간이 길어지면 단계가 너무 많은 것입니다.

← 이전 절37차시 · 2. 루브릭의 구조다음 절 →37차시 · 4. 가중치 정하기