6. 결과 종합 — 최종 비교표

출처: 원본 PDF 14차시_체계적성능평가.pdf 12쪽 · 쪽 그림 12쪽

📊 최종 결론
60% → 90% (+30%p)
토큰은 840 → 890으로 거의 그대로.
가장 효과가 컸던 것은?
셋 다 +10%p씩 기여했지만,
프롬프트 개선(v3)이 비용 증가 없이 얻은 개선이라
가성비가 가장 좋았습니다.

👉 다음 프로젝트에서는
프롬프트부터 손보면 되겠습니다.

6-1) 정답률만 보면 안 되는 이유

💡 두 설정의 정답률이 같다면?
설정 A: 85% · 평균 900토큰 · 40초
설정 B: 85% · 평균 1,800토큰 · 62초
당연히 A가 좋은 설정입니다.
같은 성능이면 싸고 빠른 것이 낫습니다.
사용자는 답변을 62초씩 기다려주지 않습니다.
실무 판단 기준
1순위 — 정답률
2순위 — 응답 속도
3순위 — 토큰 비용
정답률 차이가 3%p 이내라면 2·3순위로 결정합니다.