8차시. 첫 번째 RAG 실습

9. 필수 검증 — 4가지 테스트

출처: 원본 PDF 08차시_첫번째RAG실습.pdf 16쪽 · 쪽 그림 16쪽

돌아간다고 끝이 아닙니다. 반드시 아래 네 가지를 확인하세요.

테스트	질문 예시	기대 결과
① 정상	문서에 명확히 있는 내용	정확한 답 + 올바른 출처
② 없는 내용	"대표이사 이름이 뭐야?"	"자료에서 확인할 수 없습니다"
③ 표현 변경	"환불" 대신 "반품"으로 질문	그래도 관련 조각을 찾아옴
④ 복합 질문	"환불과 교환 차이는?"	여러 출처를 함께 제시

📝 테스트 코드

출력

TESTS = [
    "환불은 며칠 이내에 신청해야 하나요?",   # ① 정상
    "우리 회사 대표이사 이름이 뭔가요?",     # ② 없는 내용
    "반품 절차를 알려주세요",                # ③ 표현 변경
    "환불과 교환은 어떻게 다른가요?",        # ④ 복합
]

for q in TESTS:
    ask(q)

⚠️ ②번 테스트에서 지어낸 답이 나온다면
가장 흔한 문제입니다. 해결책 세 가지:
1. 프롬프트 규칙을 더 강하게
"반드시" "절대" 같은 단어를 넣어보세요
2. temperature가 0인지 확인
높으면 창의적으로 지어냅니다
3. 질문을 프롬프트 맨 뒤에 두었는지 확인
모델은 뒤쪽 내용에 더 강하게 반응합니다
이 문제는 13차시에서 본격적으로 다룹니다.