12차시. RAG 품질 문제

9. 진단할 때 빠지기 쉬운 함정

출처: 원본 PDF 12차시_RAG디버깅.pdf 17쪽 · 쪽 그림 17쪽

함정	올바른 접근
답이 이상하면 무조건 프롬프트부터 고 침	먼저 검색 결과를 확인하세요. 대부분 검색 단계 문제입니다
더 비싼 모델로 바꾸면 해결될 거라 기대	검색이 틀리면 어떤 모델도 못 고칩니다. 근거가 먼저입니다
한두 개 질문만 테스트하고 잘 된다고 판단	표현을 바꾼 변형 질문까지 최소 10개는 돌려야 합니다
여러 설정을 한꺼번에 고침	하나씩만 바꿔야 원인을 알 수 있습니다 (14차시)
내가 만든 질문으로만 테스트	실제 사용자는 다르게 묻습니다. 남에게 질문을 받아보세요
실패 사례를 기록하지 않음	기록이 없으면 개선 효과를 비교할 수 없습니다

9-1) 남에게 질문을 받아보기

👥 가장 효과적인 테스트 방법
내가 만든 질문은 이미 문서 표현에 물들어 있습니다.
"환불 규정"이라고 문서에 적혀 있으니
나도 모르게 "환불 규정"이라고 묻습니다.
동료에게 문서를 보여주지 말고
"이 시스템에 뭘 물어보고 싶어?"라고 해보세요.
"돈 언제 돌려받아?"
"물건 바꿀 수 있어?"
"택배비 누가 내?"
→ 이런 질문에서 진짜 약점이 드러납니다.