33차시. Modular RAG 최적화
9. 4부 준비 — 무엇이 남았나
출처: 원본 PDF 33차시_ModularRAG최적화.pdf 23쪽 · 쪽 그림 23쪽
기능은 완성됐고 최적화도 했습니다. 그런데 아직 못 한 것이 있습니다.
🤔 지금까지의 측정 방식
우리는 "정답 키워드가 답변에 포함됐는가"로 채점했습니다.
{"q": "환불은 며칠?", "keys": ["7일", "일주일"]}
간단하고 빠르지만 한계가 명확합니다.
❌ "7일이 아닙니다"도 정답 처리됩니다
❌ 답변의 품질(완결성·명료성)을 못 봅니다
❌ 검색 자체가 잘 됐는지 따로 못 봅니다
❌ 근거를 제대로 인용했는지 정량화가 안 됩니다
4부에서 제대로 된 평가 체계를 만듭니다.
| 차시 | 주제 | 배울 것 |
|---|---|---|
| 34 | RAG 평가 개요 | Retrieval · Answer 지표 체계 |
| 35 | 평가 데이터셋 구축 | 질문·정답·근거 세트 만들기 |
| 36 | 평가 실습 | Precision · Recall · Faithfulness |
| 37 | 루브릭 설계 | 사람이 채점하는 기준표 |
| 38~39 | 미니프로젝트 | 주제 선정 · 구현 |
| 40 🏁 | 발표와 정리 | 포트폴리오 완성 |
💡 12차시에서 모은 실패 사례를 챙기세요
35차시에서 정식 평가 데이터셋을 만들 때
그 목록이 출발점이 됩니다.
그리고 오늘 측정한 프로파일링 결과도
40차시 발표 자료에 그대로 들어갑니다.