26차시. Verifier Node 설계
8. 과도한 재시도 막기
출처: 원본 PDF 26차시_VerifierNode설계.pdf 17~18쪽 · 쪽 그림 17쪽 18쪽
검증이 너무 엄격하면 정상 답변도 계속 반려됩니다. 균형이 필요합니다.
8-1) 과잉 검증의 증상
⚠️ 이런 상황이면 검증이 과합니다
· 정상 질문의 40% 이상이 retry로 나옴
· 재시도 후에도 계속 실패해 상한에 도달
· 응답 시간이 평소의 3배 이상
· 비용이 예상의 2배 이상
검증은 품질을 위한 것인데,
과하면 느리고 비싸기만 한 시스템이 됩니다.
8-2) 완화하는 방법
| 방법 | 효과 |
|---|---|
| relevant 기준을 빼고 / grounded만 본다 | 동문서답은 놓치지만 재시도가 크게 줄어듦 |
| 재시도 상한을 1회로 줄인다 | 비용·지연 절반. 27차시에서 설정 |
| 검증을 선택적으로 적용한다 | 중요 질문에만 검증 (29차시 라우팅) |
| 심판 모델을 더 저렴한 것으로 | 비용 절감. 정확도는 조금 하락 |
| 1차 규칙 필터를 강화한다 | LLM 호출 자체를 줄임 |
8-3) 측정으로 균형 찾기
from collections import Counter
grades = []
for t in TESTS_20:
s = run_pipeline(t["q"]) # retrieve → generate → verify
grades.append(s["grade"])
print(Counter(grades))
# Counter({'pass': 14, 'retry': 4, 'research': 2})실행 결과 예시 (코드를 읽고 만든 예상 화면입니다. 실제 실행 결과, 특히 모델의 답은 다를 수 있습니다)
Counter({'pass': 14, 'retry': 4, 'research': 2})💡 건강한 분포의 기준
pass 70~85% · retry 10~20% · research 5~15%
pass가 95% 넘으면 → 검증이 너무 관대합니다
pass가 50% 미만이면 → 검증이 너무 엄격합니다
12차시 질문 세트로 이 분포를 재보고 조정하세요.