12차시. RAG 품질 문제

이번 차시에서 배우는 것

출처: 원본 PDF 12차시_RAG디버깅.pdf 1쪽 · 쪽 그림 1쪽

RAG 품질 문제 — 왜 가끔 이상한 답을 할까?

✓ RAG의 4대 실패 유형을 구분해 인식한다
✓ 증상만 보고 어느 단계가 문제인지 좁혀낸다
✓ 검색 문제와 생성 문제를 가르는 기준을 익힌다
✓ 내 RAG를 일부러 무너뜨려 약점을 찾아낸다
✓ 실패 사례 목록을 만든다 (14·34·35차시에서 계속 사용)

출처: 교안 12_RAG품질문제.md

실패는 네 가지입니다. 검색 실패는 정답 조각이 안 옵니다. 문맥 부족은 조각은 왔지만 필요한 문장이 잘렸습니다. 환각은 근거가 있는데 모델이 없는 사실을 붙입니다. 노이즈는 관련 없는 조각이 많아 답이 흐려집니다.

진단 질문은 하나입니다. 검색된 조각 안에 정답이 있는가. 있으면 생성 문제이고 13차시 프롬프트를 고칩니다. 없으면 검색 문제이고 k, 청크, 나중의 질의 재작성을 봅니다.

diagnose.py는 문서에 있는 질문, 표현만 바꾼 질문, 없는 질문, 여러 조항을 잇는 질문을 같은 파이프라인에 넣습니다. API가 필요해 샘플은 예시입니다. 오늘 만든 실패 목록은 14차시와 32차시에서 다시 씁니다.

출처: 강의 PPT 12차시_RAG품질문제.pptx (21장)

장	꼬리표	슬라이드 제목
1	-	실습으로 배우는 LangGraph : 내 손으로 RAG 시스템 만들기
2	LEARNING GOALS	이번 차시에서 배우는 것
3	WHY FAILURE FIRST	의사가 되는 과정에 비유하면
4	THE DIFFERENCE	실패 유형을 알면 무엇이 달라지나
5	KEY TERMS	핵심 용어
6	FOUR FAILURES	RAG가 틀리는 네 가지 방식
7	-	① & ②
8	-	③ & ④
9	THE ONE QUESTION	딱 하나만 기억하세요
10	LOOK AT BOTH	답변만 보면 원인을 못 찾습니다
11	DIAGNOSIS TABLE	증상 → 원인 진단표
12	HOW TO USE IT	표를 쓰는 순서
13	BREAK IT ON PURPOSE	4단계 공격 시나리오
14	RECORD IT	실패 사례 기록 양식
15	BASELINE	실패율을 숫자로 재두기
16	PITFALLS	진단할 때 빠지기 쉬운 함정
17	ASK SOMEONE ELSE	가장 효과적인 테스트 방법
18	CHECKLIST	이번 차시 체크리스트
19	ASSIGNMENT	앞으로 계속 쓸 자산 만들기
20	NEXT	다음 차시 미리보기 — 13차시 프롬프트 최적화
21	-	마무리