14차시. 성능 비교 실습
정리
- 실험은 한 번에 하나만 바꿉니다. 셋을 한꺼번에 바꾸면 무엇이 효과를 냈는지 알 수 없습니다. (14차시 「2. 비교 실험의 4가지 원칙」 › 2-1) 원칙 ① — 한 번에 하나만 바꾼다)
- 같은 질문 세트를 실험 내내 쓰고, 지금 설정의 점수(기준선)를 먼저 잽니다. (14차시 「4. 실습 ② — 기준선 측정」)
- 기준선, chunk_size만, k만, 프롬프트만 순서로 바꾸며 잽니다. 수업 예시의 퍼센트는 그 질문 세트의 값이라 내 문서에서는 다시 재야 합니다. (14차시 「5. 실습 ③ — 변수 하나씩 바꾸기」)
- 정답률이 비슷하면 응답 속도와 토큰 비용으로 고릅니다. 같은 성능이면 싸고 빠른 쪽이 낫습니다. (14차시 「6. 결과 종합 — 최종 비교표」 › 6-1) 정답률만 보면 안 되는 이유)
- 결정한 값은 config.py에 근거 주석과 함께 남깁니다. (14차시 「7. 실습 ④ — 결정 사항 기록하기」)
- k를 더 키우거나 임계값을 더 낮추면 노이즈와 환각이 늘어납니다. 90%에서 멈추는 판단도 결과입니다. (14차시 「8. 실습 ⑤ — 남은 실패 분석」)