37차시. 루브릭 설계

5. 실습 ① — 프로젝트 평가 루브릭

출처: 원본 PDF 37차시_루브릭설계.pdf 11~12쪽 · 쪽 그림 11쪽 12쪽

38~40차시 미니프로젝트를 무엇으로 평가할지 지금 정합니다.

영역	배점	평가 항목	확인 방법
	15	RAG 파이프라인이 동작하는 가	실행 시연
시스템	15	Modular 구조로 분리되었는 가	코드·구조도
	10	예외 상황에서 안전한가	장애 주입 테스트
평가	15 15	평가 데이터셋을 구축했는가지표를 측정하고 해석했는가	Golden Set 제출 / 평가 리포트
개선	10 10	측정 근거로 개선했는가 / 한계를 정확히 파악했는가	전후 비교표 / 한계 정리
발표	10	설계 의도를 설명할 수 있는가	발표·질의응답

5-1) 영역별 수준 기술 (일부)

출력

■ "Modular 구조로 분리되었는가" (15점)

  0~4점   노드 분리 없이 한 함수에 모두 구현
  5~9점   2~3개 노드로 분리했으나 State 계약이 불명확
 10~12점  Retriever/Generator/Verifier가 독립적이고
          State를 통해서만 소통함
 13~15점  위 조건 + 라우팅이 별도 분리되고
          노드 단독 테스트가 가능함

■ "지표를 측정하고 해석했는가" (15점)

  0~4점   측정 없음 또는 "잘 됩니다" 수준
  5~9점   전체 정답률만 측정
 10~12점  검색/생성을 나눠 측정하고 목표치와 비교
 13~15점  위 조건 + 난이도·유형별 분석으로
          약점을 특정하고 표본 부족을 명시함

⚠️ Gate 조건
아래 중 하나라도 해당하면 총점과 무관하게 재제출입니다.
· 시스템이 실행되지 않음
· 부재 질문에 환각 답변이 나옴
· 평가 데이터셋이 없음
이 세 가지는 이 과정의 핵심이기 때문입니다.