33차시. Modular RAG 최적화
먼저 큰 그림부터
수업 자료는 3부를 마치며 이렇게 말합니다. 감으로 판단하면 엉뚱한 곳을 파고, 숫자가 있으면 정확한 곳을 판다고요. 땅을 파기 전에 어디에 물이 있는지 먼저 재 보는 것과 같습니다. 검색이 느린 것 같아 인덱스를 손봤는데 실제로 검색은 전체의 3%였다는 예가 그 반대 경우입니다. 그래서 오늘은 고치기 전에 노드마다 시간과 호출 수부터 잽니다.
오늘 챙겨 가실 것은 세 가지입니다. 첫째, 프로파일로 병목을 찾고 그곳만 겨냥하는 순서입니다. 둘째, 모델 티어링, 임베딩 사전 검증, 재순위, 캐싱, 하이브리드 검색이라는 다섯 가지 도구입니다. 셋째, 정답률과 환각 건수를 함께 재야 최적화라는 원칙입니다. 다음 34차시부터 4부가 시작되고, 그 측정을 제대로 하는 평가 지표를 배웁니다.