33차시. Modular RAG 최적화
7. 최적화 종합 결과
출처: 원본 PDF 33차시_ModularRAG최적화.pdf 19~20쪽 · 쪽 그림 19쪽 20쪽
| 단계 | 시간 | LLM 호출 | 정답률 |
|---|---|---|---|
| 32차시 (최적화 전) | 120.2s | 112회 | 90% |
| + 모델 티어링 | 94.7s | 112회 | 90% |
| + 임베딩 사전검증 | 71.3s | 90회 | 90% |
| + Re-ranking | 68.9s | 78회 | 93% |
| + 하이브리드 검색 | 71.5s | 78회 | 95% |
| + 캐싱 (재실행 시) | 12.4s | 6회 | 95% |
📊 최적화의 성과
정답률은 오히려 올랐습니다 (90% → 95%)
→ Re-ranking으로 +3%p, 하이브리드로 +2%p
시간은 41% 단축 (120s → 72s)
→ 하이브리드가 2.6초를 되돌려 받았지만
정확도 +2%p와 맞바꾼 것이라 남는 장사입니다
LLM 호출은 30% 감소 (112 → 78회)
반복 질문은 거의 즉시 응답 (캐시)
성능을 희생하지 않고 비용을 줄였습니다.
7-1) 하지 말아야 할 최적화
| 유혹 | 왜 안 되나 |
|---|---|
| 검증을 아예 빼자 | 환각이 다시 살아납니다. 26차시가 무의미해집니다 |
| MAX_RETRY를 0으로 | 부실한 답이 그대로 나갑니다 |
| 임계값을 낮춰 재검색 없애기 | 무관한 문서로 억지 답변을 만듭니다 |
| k를 1로 줄이기 | 토큰은 줄지만 정답률이 크게 떨어집니다 |
| 예외 처리 제거 | 속도는 안 빨라지고 안정성만 잃습니다 |
💡 최적화의 원칙
품질을 지키면서 비용을 줄이는 것이 최적화입니다.
품질을 깎아 속도를 얻는 것은 최적화가 아니라
기능 축소입니다.
반드시 정답률과 환각 건수를 함께 측정하며
최적화하세요.