체크리스트와 과제

원본 PDF 끝부분의 체크리스트, 과제, 다음 차시 미리보기를 한 페이지에 모았습니다.

이번 차시 체크리스트

출처: 원본 PDF 21쪽 · 쪽 그림 21쪽

개념 이해
□ 자가 점검이 잡을 수 없는 것을 안다
□ 검증 기준 4가지를 설명할 수 있다
□ 2단 검증으로 비용을 아끼는 원리를 안다
□ retry와 research를 나눈 이유를 안다
□ 심판 실패 시 pass로 처리하는 이유를 안다
실습
□ JUDGE_PROMPT를 작성했다 (중괄호 이스케이프 포함)
□ nodes/verifier.py를 만들었다
□ 규칙 기반 1차 필터를 앞에 두었다
□ 정규식으로 JSON을 안전하게 파싱한다
□ 5가지 케이스로 단독 테스트했다
□ 환각 답변이 retry로 잡히는 것을 확인했다
□ grade 분포를 측정해 균형을 조정했다

과제

출처: 원본 PDF 23쪽 · 쪽 그림 23쪽

🎯 이번 차시 과제
1. Verifier Node 완성 (필수)
2단 검증 구조와 예외 처리를 포함하세요.
2. 검증 테스트 케이스 5종 (필수)
내 문서로 아래 5가지 답변을 직접 만들어 테스트하세요.
​| 유형 | 기대 판정 | 실제 판정 | 일치 |
​| 정상 | pass | | |
​| 환각 포함 | retry | | |
​| 동문서답 | research | | |
​| 인용 없음 | retry | | |
​| 근거 부족 | research | | |
일치하지 않으면 프롬프트를 조정하세요.
3. grade 분포 측정 (필수)
12차시 질문 20개를 돌려 분포를 재고
8-3의 기준과 비교해 조정 여부를 판단하세요.
4. 비용 비교 (권장)
1차 필터가 있을 때와 없을 때
LLM 심판 호출 횟수를 세어 비교하세요.

다음 차시 미리보기

출처: 원본 PDF 23~24쪽 · 쪽 그림 23쪽 24쪽

27차시: 기본 Modular RAG 구현 🏁
24~26차시에서 만든 세 모듈을 하나로 잇습니다.
· 검색 → 생성 → 검증 흐름 완성
· 판정에 따라 종료하거나 재시도하는 루프
· 재시도 상한으로 안전장치 걸기
· 22차시 버전과 실패율 비교

🏁 마일스톤 3 — 실무 최소 요건을 갖춘 RAG

💬 마무리
오늘 만든 Verifier는 3부의 분수령입니다. 이제 우리 시스템은 자기 답변을 검토합니다.
그런데 오늘 가장 강조하고 싶은 것은 "검증을 강하게 걸어라"가 아닙니다.
검증은 서비스를 막는 장치가 아니라 품질을 올리는 장치입니다.
심판이 고장 나면 통과시키고, 과하게 엄격하면 완화하고, 상한을 두어 무한히 돌지 않게 합니다.
안전한 것과 쓸모 있는 것 사이의 균형 — 이 감각이 실무에서 가장 중요합니다.
다음 차시에서 셋을 합칩니다! ⚖️