12차시. RAG 품질 문제
정리
- RAG가 틀리는 방식은 검색 실패, 문맥 부족, 환각, 노이즈 혼입 네 가지이고 처방이 각각 다릅니다. (12차시 「2. RAG 4대 실패 유형」)
- 진단 질문은 하나입니다. 검색된 조각 안에 정답이 있으면 생성 문제(프롬프트), 없으면 검색 문제(분할·k·임계값·질의)입니다. (12차시 「3. 진단의 핵심 기준 — 딱 하나만 기억하세요」)
- 답변만 보지 말고 검색 결과를 함께 봅니다. 그리고 처방은 한 번에 하나만 적용하고 다시 잽니다. (12차시 「4. 증상 → 원인 진단표」)
- 정상, 표현 변경, 없는 내용, 복합 질문 네 유형으로 일부러 무너뜨립니다. 없는 내용에 그럴듯한 답이 나오면 실무에 쓸 수 없습니다. (12차시 「6. 실습 ② — 일부러 무너뜨리기」 › 6-2) 각 단계에서 무엇을 확인하나)
- 실패마다 질문, 기대 답, 실제 답, 검색 결과, 유형, 추정 원인을 기록합니다. 이 목록이 뒤 차시의 비교 기준이 됩니다. (12차시 「7. 실습 ③ — 실패 사례 목록 만들기」 › 7-1) 기록 양식)
- 개선을 말하려면 지금의 정답률(기준선)을 먼저 숫자로 재 둡니다. (12차시 「8. 실습 ④ — 실패율 측정하기」)