14차시. 성능 비교 실습

2. 비교 실험의 4가지 원칙

출처: 원본 PDF 14차시_체계적성능평가.pdf 5~6쪽 · 쪽 그림 5쪽 6쪽

이 원칙을 지키지 않으면 실험이 아니라 그냥 시행착오입니다.

2-1) 원칙 ① — 한 번에 하나만 바꾼다

❌ 잘못된 실험

출력

──────────────────────────────────
실험 A: chunk 500, k=3, 프롬프트 v2  → 60%
실험 B: chunk 300, k=5, 프롬프트 v3  → 80%

"20%p 올랐다!"

→ 그런데 무엇 때문에 올랐을까요?
  chunk 때문? k 때문? 프롬프트 때문?
  셋 다 바꿨으니 알 수 없습니다.
  다음에 다른 문서에 적용할 때 재현이 안 됩니다.

✅ 올바른 실험

출력

──────────────────────────────────
기준선  : chunk 500, k=3, v2  → 60%
실험 A  : chunk 300, k=3, v2  → 68%   (+8%p, chunk 효과)
실험 B  : chunk 300, k=5, v2  → 72%   (+4%p, k 효과)
실험 C  : chunk 300, k=5, v3  → 85%   (+13%p, 프롬프트 효과)

→ 프롬프트 개선이 가장 효과가 컸다는 것을 알 수 있습니다
→ 다음 프로젝트에서도 이 지식을 재사용할 수 있습니다

2-2) 원칙 ② — 같은 질문 세트를 쓴다

12차시에서 만든 질문 20개를 실험 내내 바꾸지 않습니다.
매번 다른 질문으로 테스트하면
설정이 좋아진 건지 질문이 쉬워진 건지 알 수 없습니다.
질문을 추가하고 싶다면?
→ 실험이 끝난 뒤 추가하고, 기준선을 다시 측정하세요.

2-3) 원칙 ③ — 기준선을 먼저 잰다

비교할 출발점이 없으면 개선을 주장할 수 없습니다.
현재 설정 그대로 한 번 돌려서 점수를 기록하세요.
이것이 앞으로 모든 실험의 기준이 됩니다.

2-4) 원칙 ④ — 전부 기록한다

출처: 원본 PDF 6쪽

설정과 점수를 표로 남기세요.
· 나중에 되돌릴 수 있습니다
· 왜 이 값인지 설명할 수 있습니다
· 같은 실험을 반복하지 않게 됩니다