12차시. RAG 품질 문제

6. 실습 ② — 일부러 무너뜨리기

출처: 원본 PDF 12차시_RAG디버깅.pdf 11~12쪽 · 쪽 그림 11쪽 12쪽

오늘의 핵심 실습입니다. 잘 되는 질문 말고 안 되는 질문을 찾습니다.

6-1) 4단계 공격 시나리오

📝 단계별 테스트

Python

TESTS = {
    "① 정상 (문서에 명확히 있음)": [
        "환불은 며칠 이내에 신청해야 하나요?",
        "고객센터 운영 시간은 언제인가요?",
    ],
    "② 표현 변경 (같은 뜻, 다른 단어)": [
        "반품하고 싶은데 언제까지 가능해요?",
        "상담원이랑 통화되는 시간 알려주세요",
    ],
    "③ 없는 내용 (문서에 없음)": [
        "대표이사 성함이 어떻게 되나요?",
        "작년 매출이 얼마인가요?",
    ],
    "④ 복합 질문 (여러 조항에 걸침)": [
        "환불과 교환의 조건 차이를 설명해주세요",
        "배송비는 어떤 경우에 누가 부담하나요?",
    ],
}

for group, questions in TESTS.items():
    print(f"\n\n########## {group} ##########")
    for q in questions:
        diagnose(q)

실행 결과 예시 (코드를 읽고 만든 예상 화면입니다. 실제 실행 결과, 특히 모델의 답은 다를 수 있습니다)

출력

########## ① 정상 (문서에 명확히 있음) ##########
============================================================
Q: 환불은 며칠 이내에 신청해야 하나요?
검색 3개 / 기준 통과 3개
------------------------------------------------------------
✓ [1] 0.812 p.2  4. 환불 및 교환 규정 환불 상품 수령 후 7 일 이내에 환불을 신청하실 수 있습니다. 단순 변심의 경우 왕복 배송비는 고객...
✓ [2] 0.655 p.2  자동 모드에서는 내장된 먼지 센서가 실내 공기질을 감지하여 풍량을 자동으로 조절합니다. 필터 교체 알림 램프가 켜지면 필터를 ...
✓ [3] 0.598 p.2  교환 상품 불량의 경우 30 일 이내에 교환이 가능합니다. 이 경우 배송비는 당사가 부담합니다. 5. 보증 및 무상 A/S...

A: 상품 수령 후 7일 이내에 환불을 신청하실 수 있습니다.

👉 판단: 위 조각들 안에 정답이 있었는가?
   있는데 답이 틀렸다면 → 생성 문제 (13차시)
   없다면              → 검색 문제 (7·11차시)
============================================================
============================================================
Q: 고객센터 운영 시간은 언제인가요?
검색 3개 / 기준 통과 2개
------------------------------------------------------------
✓ [1] 0.784 p.3  Q. 소음이 심해요.  A. 흡입구에 이물질이 끼어 있지 않은지 확인해 주세요. 7. 고객센터 안내 운영 시간은 평일 09:0...
✓ [2] 0.563 p.3  전화 1588-0000 / 이메일 help@example.com 8. 제품 사양  모델명 AP-3300 정격전압 AC 220V...
✗ [3] 0.441 p.2  A/S 문의는 고객센터 또는 가까운 서비스센터를 통해 접수하실 수 있으며, 접수 후 영업일 기준 3~5 일 이내에 처리됩니다....

A: 고객센터 운영 시간은 평일 09:00 ~ 18:00입니다.

👉 판단: 위 조각들 안에 정답이 있었는가?
   있는데 답이 틀렸다면 → 생성 문제 (13차시)
   없다면              → 검색 문제 (7·11차시)
============================================================

########## ② 표현 변경 (같은 뜻, 다른 단어) ##########
... (이하 생략)

6-2) 각 단계에서 무엇을 확인하나

단계	기대 결과	실패하면
① 정상	정확한 답 + 올바른 출처	기본기 문제. 6~11차시 복습
② 표현 변경	그래도 찾아냄	임베딩·질의 문제 (9 · 30차시)
③ 없는 내용	"확인할 수 없습니다"	환각. 프롬프트 강화 (13차시)
④ 복합 질문	여러 출처를 함께 제시	MMR·k 조정 (11차시)

⚠️ ③번이 가장 중요합니다
문서에 없는 질문에 그럴듯한 답이 나온다면
그 RAG는 실무에 쓸 수 없습니다.
사용자는 그게 지어낸 답인지 알 수 없기 때문입니다.
"모르면 모른다고 하는 것"이
"많이 아는 것"보다 훨씬 중요합니다.