이번 차시에서 배우는 것

출처: 원본 PDF 26차시_VerifierNode설계.pdf 1쪽 · 쪽 그림 1쪽

Verifier Node 설계 — 내보내기 전 마지막관문

✓ 생성 노드의 자가 점검만으로 왜 부족한지 이해한다 ✓ 검증 기준 4가지를 설계한다
✓ 규칙 기반 1차 필터로 비용을 절감한다
✓ LLM을 심판으로 쓰는 방법을 익힌다
✓ 판정 결과를 JSON으로 안정적으로 받는다
✓ 과도한 재시도를 막고 균형을 잡는다

교안 해설: 이 시간에 하는 일

출처: 교안 26_VerifierNode이해.md

생성 노드의 인용 검사는 번호가 있는지만 봅니다. '수수료 10%'처럼 근거에 없는 문장이 [1]을 달고 있으면 형식은 통과합니다. Verifier는 주장들이 근거 안에 있는지, 질문에 답했는지 봅니다.

비용 때문에 두 단계입니다. 먼저 규칙으로 insufficient, 인용 실패, 너무 짧은 답을 거절합니다. 규칙을 통과한 것만 LLM 심판에게 JSON으로 묻습니다. 자유 문장으로 받으면 다음 분기가 파싱할 수 없습니다.

판정은 pass, retry, research, giveup입니다. Verifier는 답을 고치지 않습니다. 고치면 재시도와 재검색 정책을 이 함수 안에 넣게 됩니다. 기준이 너무 세면 멀쩡한 답도 재시도하고, 너무 느슨하면 환각이 통과합니다. 샘플은 API 예시입니다.

강의 PPT 흐름

출처: 강의 PPT 26차시_VerifierNode설계.pptx (17장)