32차시. 고도화된 Modular RAG
6. 성능 변화 총정리
출처: 원본 PDF 32차시_ModularRAG종합.pdf 12~13쪽 · 쪽 그림 12쪽 13쪽
8차시부터 32차시까지 시스템이 어떻게 발전했는지 한눈에 봅니다.
| 차시 | 시스템 | 정답률 | 환각 | 평균 응답 | LLM 호출 |
|---|---|---|---|---|---|
| 8 🏁 | 기본 RAG | 60% | 4건 | 2.0초 | 1.0회 |
| 16 | 1부 완료 | 90% | 2건 | 2.1초 | 1.0회 |
| 22 🏁 | 그래프 RAG | 90% | 2건 | 2.1초 | 1.0회 |
| 27 🏁 | 기본 Modular | 95% | 0건 | 4.3초 | 2.4회 |
| 29 | + 라우팅 | 95% | 0건 | 3.4초 | 1.9회 |
| 32 🏁 | 고도화 Modular | 100% | 0건 | 4.6초 | 2.9회 |
📊 각 단계의 기여
8 → 16차시 (+30%p)
파라미터 튜닝과 프롬프트 개선
→ 비용 증가 없이 얻은 개선
16 → 22차시 (변화 없음)
구조를 그래프로 바꿈. 확장성 확보
22 → 27차시 (+5%p, 환각 0)
검증과 재생성 도입
→ 비용 2.4배, 하지만 환각 제거
27 → 29차시 (속도 개선)
라우팅으로 불필요한 처리 제거
29 → 32차시 (+5%p)
재검색으로 어휘 불일치 해결
⚠️ 100%는 이 질문 세트에서만입니다
20개 질문에 최적화된 결과입니다.
새로운 질문에는 다시 실패가 나옵니다.
그래서 34~35차시에서 평가 방법론을 배웁니다.
· 더 넓은 평가 데이터셋
· 정답률 외의 지표
· 사람의 평가와 자동 평가
"내 테스트에서 100%"는 시작일 뿐입니다.