14차시. 성능 비교 실습
9. 실험할 때 자주 하는 실수
출처: 원본 PDF 14차시_체계적성능평가.pdf 18쪽 · 쪽 그림 18쪽
| 실수 | 올바른 방법 |
|---|---|
| 여러 변수를 동시에 바꿈 | 하나씩만 바꿉니다. 시간이 걸려도 이 방법이 결국 빠릅니다 |
| 매번 다른 질문으로 테스트 | 고정된 세트를 실험 내내 사용합니다 |
| 기준선 없이 시작 | 현재 설정을 먼저 재고 기록합니다 |
| 정답률만 보고 판단 | 토큰·시간을 함께 봅니다. 같은 점수면 싼 쪽이 낫습니다 |
| 매번 인덱스를 새로 생성 | 같은 chunk 설정은 캐시해서 재사용합니다 |
| 결과를 기록하지 않음 | config 주석이나 별도 표에 남깁니다 |
| 실패 질문을 무시 | 남은 실패를 분류해야 다음에 뭘 할지 압니다 |
9-1) 비용 관리
💰 실험에도 돈이 듭니다
질문 20개 × 실험 12회 = LLM 호출 240회
여기에 인덱스 생성 4회가 더해집니다.
비용을 아끼는 요령
· 질문은 20개 이내로 유지하세요
· 같은 chunk 설정은 캐시해서 재사용하세요
· 검색만 비교할 때는 LLM을 호출하지 마세요
· 프롬프트 비교는 검색 결과를 재사용하세요
· 개발 중에는 gpt-4o-mini 같은 저가 모델로 실험하세요
그래도 전체 실험 비용은 커피 한 잔 수준입니다.
아끼지 말고 제대로 측정하세요.