12차시. RAG 품질 문제
체크리스트와 과제
원본 PDF 끝부분의 체크리스트, 과제, 다음 차시 미리보기를 한 페이지에 모았습니다.
이번 차시 체크리스트
출처: 원본 PDF 18쪽 · 쪽 그림 18쪽
개념 이해
□ 4대 실패 유형을 구분해 설명할 수 있다
□ "조각에 정답이 있는가"로 검색/생성 문제를 가른다
□ 증상별 진단표를 활용할 수 있다
□ 한 번에 하나씩만 고쳐야 하는 이유를 안다
실습
□ diagnose 함수를 만들어 실행했다
□ 4단계 공격 시나리오를 모두 돌렸다
□ 없는 내용 질문에 환각이 나오는지 확인했다
□ 실패 사례를 10개 이상 수집해 표로 정리했다
□ 각 실패의 유형과 추정 원인을 기록했다
□ 현재 정답률(기준선)을 측정해 기록했다
과제
출처: 원본 PDF 18쪽 · 쪽 그림 18쪽
🎯 이번 차시 과제 — 앞으로 계속 쓸 자산 만들기
1. 평가용 질문 세트 20개 (필수)
아래 비율로 구성하세요.
· 정상 질문 8개
· 표현 변경 질문 6개
· 문서에 없는 질문 3개
· 복합 질문 3개
각 질문에 정답 키워드를 함께 적으세요.
14차시에서 자동 채점에 씁니다.
2. 실패 사례 표 (필수)
7-2의 양식으로 최소 10건을 정리하세요.
3. 기준선 기록 (필수)
현재 정답률을 재고 날짜와 함께 기록하세요.
예) 2026-08-03 기준선: 12/20 (60%)
4. 동료 테스트 (권장)
문서를 안 본 사람에게 질문 5개를 받아 돌려보세요.
결과가 놀라울 겁니다.
다음 차시 미리보기
출처: 원본 PDF 19쪽 · 쪽 그림 19쪽
13차시: 프롬프트 최적화
오늘 찾은 실패 중 "생성 문제"로 분류된 것들을 고칩니다.
· RAG 프롬프트의 4단 구조 (역할·규칙·자료·질문)
· 근거 밖 이야기를 못 하게 막는 규칙
· 출처 번호를 반드시 붙이게 만들기
· 모를 때 모른다고 답하게 하기
· 과잉 거부를 막는 균형 잡기
오늘 만든 질문 20개로 개선 전후를 비교합니다.
💬 마무리
오늘은 만드는 차시가 아니라 부수는 차시였습니다. 잘 돌아가던 내 RAG의 약점을 굳이 찾아냈으니까요.
기분이 좋지 않을 수 있습니다. "생각보다 형편없네" 싶으셨을 겁니다.
하지만 그게 정상입니다. 그리고 그걸 알고 있는 것과 모르는 것은 하늘과 땅 차이입니다. 모르면 사용자가 대신 발견하고, 그때는 늦습니다.
오늘 만든 실패 사례 20건은 앞으로 28차시 동안 여러분의 나침반이 됩니다. 개선할 때마다이 목록으로 확인하세요.
다음 차시부터 하나씩 고쳐 나갑니다. 🔧