14차시. 성능 비교 실습

4. 실습 ② — 기준선 측정

출처: 원본 PDF 14차시_체계적성능평가.pdf 9쪽 · 쪽 그림 9쪽

먼저 현재 설정을 그대로 재봅니다. 이것이 모든 비교의 출발점입니다.

📝 기준선 측정

출력

TESTS = [
    {"q": "환불은 며칠 이내인가요?",      "keys": ["7일", "일주일"]},
    {"q": "교환 기간은 얼마인가요?",      "keys": ["30일"]},
    {"q": "고객센터 운영 시간은?",        "keys": ["09:00", "평일"]},
    {"q": "대표이사 이름은?",             "keys": ["확인할 수 없"]},
    # ... 12차시 과제에서 만든 20개를 모두 넣으세요
]

print("■ 기준선 측정")
print("-" * 78)
baseline = run("기준선", 500, 50, 3, 0.47, "v2", TESTS)

실행 결과
─────────────────────────────────────────────
─────────────
■ 기준선 측정
─────────────────────────────────────────────
─────────────
   (인덱스 생성: chunk=500 조각=24)
기준선       chunk=500   k=3   v2  | 정답 12/20 ( 60%) | 평균토큰   840 |   38초

💡 기준선을 반드시 기록하세요
날짜 : 2026-08-03
설정 : chunk 500 / overlap 50 / k 3 / 임계값 0.47 / v2
결과 : 12/20 (60%) · 평균 840토큰 · 38초
이 한 줄이 앞으로 모든 판단의 기준이 됩니다.