33차시. Modular RAG 최적화
정리
- 측정 없는 최적화는 추측입니다. 프로파일을 먼저 돌려 어느 노드가 시간을 쓰는지 봅니다. (33차시 「1. 최적화의 제1원칙 — 먼저 측정하라」)
- 작업 난이도에 맞게 모델을 나누고 max_tokens를 제한하면, 호출 수는 같아도 시간이 줄어듭니다. (33차시 「3. 최적화 ① — 모델 티어링」)
- 답변과 근거의 임베딩 유사도가 아주 높거나 아주 낮으면 LLM 심판 없이 판정하고, 애매한 것만 심판에 보냅니다. 임계값은 반드시 실측합니다. (33차시 「4. 최적화 ② — 검증 호출 줄이기」)
- 재순위는 임베딩으로 후보를 넉넉히 추린 뒤 Cross-Encoder로 상위만 정밀하게 고르는 2단계입니다. (33차시 「5. 최적화 ③ — Re-ranking」)
- 캐시는 검증을 통과한 답만 담고, TTL을 두고, 문서가 바뀌면 비웁니다. (33차시 「6. 최적화 ④ — 캐싱」)
- 고유명사와 조항 번호처럼 의미 검색이 약한 곳은 키워드 검색을 섞은 하이브리드 검색으로 보완합니다. (33차시 「6-2. 최적화 ⑤ — 하이브리드 검색」)