1. 왜 감으로 하면 안 될까?

출처: 원본 PDF 14차시_체계적성능평가.pdf 3~4쪽 · 쪽 그림 3쪽 4쪽

지금까지 우리는 여러 설정을 배웠습니다. chunk_size, overlap, k, MMR, 임계값, 프롬프트버전... 이제 이 값들을 어떻게 정할지 결정해야 합니다.

1-1) 감으로 튜닝하면 생기는 일

⚠️ 흔한 튜닝 풍경
월요일 — "chunk_size를 300으로 줄여볼까?" → 좋아진 것 같다
화요일 — "k도 5로 올려볼까?" → 어제보다 나은가? 모르겠다
수요일 — "프롬프트도 고쳐볼까?" → 이제 뭐가 뭔지 모르겠다
목요일 — "월요일이 나았던 것 같은데..." → 그때 설정이 뭐였지?
금요일 — 원점 복귀
문제점
· 좋아진 건지 나빠진 건지 모릅니다
· 여러 개를 한꺼번에 바꿔 원인을 알 수 없습니다
· 되돌아갈 기록이 없습니다
· 팀원에게 "왜 이 값인가"를 설명할 수 없습니다

1-2) 측정하며 튜닝하면

📐 체중 감량에 비유하면
체중계 없이 다이어트를 한다면?
"살이 좀 빠진 것 같은데?" 정도밖에 못 합니다.
체중계가 있으면
· 매일 숫자로 확인합니다
· 어떤 식단이 효과 있었는지 압니다
· 다시 늘면 원인을 되짚을 수 있습니다
RAG의 체중계 = 정답률입니다.
12차시에서 만든 질문 20개가 바로 그 체중계입니다.

💡 튜닝의 제1원칙
측정할 수 없으면 개선할 수 없습니다.
반대로 말하면,
측정만 할 수 있으면 개선은 시간 문제입니다.