12차시. RAG 품질 문제
7. 실습 ③ — 실패 사례 목록 만들기
출처: 원본 PDF 12차시_RAG디버깅.pdf 13쪽 · 쪽 그림 13쪽
오늘의 진짜 결과물입니다. 이 목록을 14 · 34 · 35차시에서 계속 씁니다.
7-1) 기록 양식
■ 실패 사례 #1
──────────────────────────────────────
질문 : 반품하고 싶은데 언제까지 가능해요?
기대 답변 : 7일 이내
실제 답변 : 자료에서 확인할 수 없습니다
검색 결과 : 최고 점수 0.41 (기준 0.47 미달)
정답 조각 : 검색 5위에 있었음 (점수 0.38)
유형 : ① 검색 실패
추정 원인 : "반품"과 "환불"의 임베딩 거리가 예상보다 멂
처방 후보 : 질의 재작성(30차시) 또는 임계값 하향7-2) 표로 정리하기
| # | 질문 | 유형 | 추정 원인 | 처방 차시 |
|---|------|------|-----------|-----------|
| 1 | 반품 언제까지? | ①검색실패 | 표현 차이 | 30 |
| 2 | 배송비 누가? | ②문맥부족 | 조각 분리됨 | 7 |
| 3 | 대표이사 이름? | ③환각 | 프롬프트 약함 | 13 |
| 4 | 환불/교환 차이 | ④노이즈 | 한쪽만 검색됨 | 11 |
| ... |💡 목표: 최소 10개
잘 되는 질문 10개보다
안 되는 질문 10개가 훨씬 가치 있습니다.
이 목록이 앞으로 이렇게 쓰입니다.
13차시 — 프롬프트 개선 전후 비교
14차시 — 설정별 성능 측정
27차시 — Modular RAG 개선 효과 확인 34~35차시 — 정식 평가 데이터셋
절대 버리지 마세요.