26차시. Verifier Node 설계
정리
- 생성 노드의 자가 점검은 형식만 봅니다. 근거에 없는 문장에 [1]이 붙어 있어도 통과합니다. (26차시 「1. 왜 검증이 따로 필요한가?」 › 1-2) 검증 없이 내보내면)
- 검증 기준은 근거 충실성, 질문 관련성, 인용 유효성, 완결성 네 가지입니다. 대부분은 grounded와 relevant 두 가지면 충분합니다. (26차시 「2. 검증 기준 4가지」)
- 규칙으로 먼저 거르고 남은 것만 LLM 심판에게 보내면 호출 횟수와 응답 시간이 줄어듭니다. (26차시 「3. 검증 방식 비교 — 비용과 정확도」 › 3-1) 2단 검증 — 비용을 아끼는 구조)
- 심판 프롬프트에는 "답변을 생성하지 말라"를 적고, JSON 예시의 중괄호는 {{ }}로 씁니다. (26차시 「4. 실습 ① — LLM 심판 프롬프트」)
- retry는 같은 근거로 다시 쓰고, research는 검색부터 다시 합니다. 처방이 달라서 판정을 나눕니다. (26차시 「6. 판정 결과를 세 가지로 나눈 이유」)
- 심판이 고장 나면 pass로 넘기고 로그를 남깁니다. 검증이 서비스를 막아서는 안 됩니다. (26차시 「9. 자주 겪는 문제」 › 9-1) 심판도 틀릴 수 있습니다)