26차시. Verifier Node 설계
3. 검증 방식 비교 — 비용과 정확도
출처: 원본 PDF 26차시_VerifierNode설계.pdf 7쪽 · 쪽 그림 7쪽
| 방식 | 비용 | 정확도 | 적합한 검사 |
|---|---|---|---|
| 규칙 기반 (정규식) | 없음 | 낮음 | 인용 번호 존재·형식 |
| 플래그 확인 | 없음 | 중간 | insufficient · retrieval_ok |
| 임베딩 유사도 | 낮음 | 중간 | 답변과 근거의 의미적 거리 |
| LLM 심판 | 높음 | 높음 | 근거 충실성 · 관련성 · 완결성 |
3-1) 2단 검증 — 비용을 아끼는 구조
┌─────────────────────────────────────┐
│ 1차: 규칙 기반 (비용 0) │
│ │
│ · insufficient == True → 즉시 retry│
│ · has_citation == False → 즉시 retry│
│ · answer 길이 < 10자 → 즉시 retry│
│ │
│ → 여기서 걸리면 LLM 호출 안 함 │
└─────────────────────────────────────┘
↓ 통과한 것만
┌─────────────────────────────────────┐
│ 2차: LLM 심판 (비용 발생) │
│ │
│ · grounded 판정 │
│ · relevant 판정 │
└─────────────────────────────────────┘💰 비용 절감 효과
질문 100개 중 20개가 1차에서 걸린다면
LLM 심판 호출: 100회 → 80회
20% 절감
재시도 루프가 있으면 효과가 더 큽니다.
재시도할 때마다 검증이 다시 도니까요.
그리고 1차 검사는 즉시 끝나서 응답도 빨라집니다.