체크리스트와 과제

원본 PDF 끝부분의 체크리스트, 과제, 다음 차시 미리보기를 한 페이지에 모았습니다.

이번 차시 체크리스트

출처: 원본 PDF 20쪽 · 쪽 그림 20쪽

개념 이해
□ 이분법 채점의 한계를 예로 설명할 수 있다
□ 루브릭이 항목 × 수준 구조임을 안다
□ 좋은 루브릭의 4가지 조건을 안다
□ 가중치에 근거가 필요한 이유를 안다
□ Gate 조건이 왜 필요한지 안다
□ 평가자 간 일치도의 목표 수준을 안다
실습
□ 답변 평가 루브릭을 4항목으로 설계했다
□ 각 수준을 관찰 가능한 기준으로 기술했다
□ 가중치를 근거와 함께 배분했다
□ Gate 조건을 정했다
□ 3~5개를 두 번 채점해 일치도를 확인했다
□ 루브릭을 LLM 자동 채점에 연결했다
□ 항목별 평균으로 약점을 특정했다
□ 프로젝트 평가 기준을 확정했다

과제

출처: 원본 PDF 20쪽 · 쪽 그림 20쪽

🎯 이번 차시 과제
1. 나만의 루브릭 설계 (필수)
내 프로젝트 성격에 맞는 4항목 루브릭을 만드세요.
​| 항목 | 가중치 | 0점 | 1점 | 2점 |
가중치 옆에 왜 그 비율인지 한 줄씩 적으세요.
2. 일치도 검증 (필수)
답변 5개를 골라 두 번 채점하세요.
(동료와 함께 하거나, 하루 간격을 두고 혼자)
​| 답변 | 1차 | 2차 | 차이 |
평균 차이가 0.3을 넘으면 루브릭을 수정하세요.
3. 자동 채점 연결 (필수)
Dev Set 전체를 루브릭으로 채점하고
항목별 평균을 내세요.
· 가장 낮은 항목: ______ (___점)
· 36차시 분석과 일치하는가?
4. 사람 검증 (권장)
표본 5건을 직접 채점해 LLM 점수와 비교하세요.
차이가 크면 채점 프롬프트를 다듬으세요.

다음 차시 미리보기

출처: 원본 PDF 21쪽 · 쪽 그림 21쪽

38차시: 미니프로젝트 — 주제 선정과 설계
드디어 나만의 프로젝트를 시작합니다.
· 좋은 프로젝트 주제의 조건
· 문서 확보와 범위 정하기
· 요구사항 정의와 설계서 작성
· 일정 계획 (38~40차시, 3시간)
· 오늘 만든 루브릭으로 자기 목표 설정
지금까지 배운 모든 것을 쏟아붓는 시간입니다.

💬 마무리
오늘 배운 루브릭은 사실 평가 도구 이상입니다.
루브릭을 만든다는 것은 "이 시스템이 무엇을 잘해야 하는가"를 정의하는 일입니다. 정확성에 35%를 준다는 것은 "우리는 속도보다 정확성을 중시한다"는 선언입니다.
그래서 루브릭은 평가 전에 만들어야 합니다. 만들고 나서 평가 기준을 정하면 이미 만든 것에 유리하게 기준을 맞추게 됩니다.
그리고 오늘 확인한 completeness 1.51은 36차시의 "복합 질문 67%"와 같은 이야기입니다. 서로 다른 방법으로 같은 결론에 도달하면 그 진단은 믿을 만합니다.
다음 차시부터 나만의 프로젝트입니다! 📏