2. RAG 4대 실패 유형

출처: 원본 PDF 12차시_RAG디버깅.pdf 5~6쪽 · 쪽 그림 5쪽 6쪽

RAG가 틀리는 방식은 크게 네 가지입니다. 각각 처방이 완전히 다릅니다.

2-1) ① 검색 실패 — 정답을 못 찾아옴

🔍 증상
문서에 분명히 있는데 "자료에서 확인할 수 없습니다"라고 답합니다.
원인
· 질문 표현이 문서와 너무 다름 (예: 문서는 "반품", 질문은 "환불")
· 분할이 잘못돼 정답이 조각 경계에 걸림
· k가 너무 작아 4~5위에 있는 정답을 놓침
· 임계값이 너무 높아 정답까지 걸러짐
처방
· k를 조금 늘려본다 (11차시)
· chunk_size를 조정한다 (7차시)
· 질의 재작성을 도입한다 (30차시)

2-2) ② 문맥 부족 — 반쪽만 가져옴

🧩 증상
답변이 어중간합니다. 조건이나 예외가 빠져 있습니다.
"환불은 7일 이내입니다" (→ 단, 훼손 시 제한이라는 조건이 누락)
원인
· chunk_size가 작아 설명이 여러 조각에 흩어짐
· overlap이 0이라 경계에서 정보가 사라짐
· k가 부족해 나머지 조각을 못 가져옴
처방
· chunk_size를 키우거나 overlap을 늘린다 (7차시)
· k를 늘린다 (11차시)

2-3) ③ 환각 — 근거 밖 이야기를 함

출처: 원본 PDF 6쪽

👻 증상
근거는 제대로 왔는데, 답변에 근거에 없는 내용이 섞여 있습니다.
그럴듯해서 알아채기 가장 어렵습니다.
원인
· 프롬프트 제약이 약함 ("참고해서 답해줘" 수준)
· temperature가 0이 아님
· 질문이 프롬프트 앞쪽에 있어 지시가 묻힘
처방
· 프롬프트 규칙을 강화한다 (13차시)
· 검증 노드를 추가한다 (26차시)

2-4) ④ 노이즈 혼입 — 엉뚱한 게 섞임

출처: 원본 PDF 6쪽

🌫️ 증상
답이 장황하고 초점이 흐립니다. 관련 없는 얘기가 함께 나옵니다.
원인
· k가 너무 큼 (11차시에서 확인했듯이)
· 임계값이 없어 관련 없는 조각도 통과
· 문서에 중복 내용이 많음
처방
· k를 줄이고 임계값을 건다 (10·11차시)
· Re-ranking을 도입한다 (33차시)