12차시. RAG 품질 문제

1. 왜 실패부터 공부할까?

출처: 원본 PDF 12차시_RAG디버깅.pdf 3쪽 · 쪽 그림 3쪽

지금까지 11차시 동안 우리는 "만드는 법"을 배웠습니다. 오늘부터는 방향이 바뀝니다. "왜 안 되는지"를 배웁니다.

🏥 의사가 되는 과정에 비유하면
의대에서 건강한 사람의 몸만 배우면
환자를 진료할 수 없습니다.
· 어떤 증상이 나타나는지
· 그 증상의 원인이 무엇인지
· 무엇부터 검사해야 하는지
이걸 알아야 의사입니다.
RAG 개발자도 똑같습니다.
잘 되는 경우만 보면
실제 사용자 질문 앞에서 무너집니다.

1-1) 실패를 모르면 생기는 일

실패 유형을 모르면	실패 유형을 알면
답이 이상해도 어디부터 볼지 모름	증상만 보고 원인 단계를 좁힘
일단 모델을 비싼 것으로 바꿔봄	진짜 원인에 맞는 처방을 함
좋아졌는지 나빠졌는지 모름	실패율로 개선을 측정함
왜 그렇게 고쳤는지 설명 못 함	근거를 갖고 의사결정함

⚠️ 실무에서 가장 흔한 실수
"답이 이상하네? 프롬프트를 고쳐볼까?"
"안 되네? gpt-4o로 바꿔볼까?"
"그래도 안 되네? 임베딩 모델을 large로?"
→ 며칠을 쓰고도 나아지지 않습니다
왜냐하면 원인이 검색 단계에 있었기 때문입니다.
아무리 좋은 모델도 근거가 없으면 답을 못 합니다.
진단이 먼저입니다.