이번 차시에서 배우는 것

출처: 원본 PDF 14차시_체계적성능평가.pdf 1쪽 · 쪽 그림 1쪽

성능 비교 실습 — 감이 아니라 숫자로

✓ 제대로 된 비교 실험을 설계하는 4가지 원칙을 안다 ✓ 기준선을 먼저 측정하고 기록한다
✓ chunk_size · k · 프롬프트를 하나씩 바꿔 측정한다 ✓ 정답률과 토큰 비용을 함께 놓고 판단한다
✓ 내 문서에 맞는 최적 조합을 근거를 갖고 확정한다 ✓ 결정 내용을 config.py에 기록한다

교안 해설: 이 시간에 하는 일

출처: 교안 14_성능비교실습.md

감으로 월요일에 청크를 줄이고 화요일에 k를 올리면, 무엇이 효과를 냈는지 알 수 없습니다. 실험은 네 가지를 지킵니다. 한 번에 하나만 바꿉니다. 같은 질문 세트를 씁니다. 바꾸지 않는 값은 적습니다. 정답률만이 아니라 토큰과 시간도 봅니다.

순서 예시는 기준선을 먼저 재고, chunk_size만 바꾼 뒤, 가장 나은 청크를 고정하고 k만 바꾸고, 마지막으로 프롬프트 버전만 바꿉니다. PPT의 수업 예시에서는 청크와 k와 프롬프트가 각각 정답률을 올렸고, 프롬프트 변경은 토큰이 늘지 않았습니다. 그 퍼센트는 그 질문 세트에서의 수업 예시입니다. 내 문서에서는 다시 재야 합니다.

k를 더 키우거나 임계값을 더 낮추면 어느 순간 노이즈와 환각이 늘어 점수가 다시 떨어집니다. 90퍼센트에서 멈추는 판단도 결과입니다. 이 차시 전용 스크립트는 없습니다.

강의 PPT 흐름

출처: 강의 PPT 14차시_성능비교실습.pptx (21장)