14차시. 성능 비교 실습

7. 실습 ④ — 결정 사항 기록하기

출처: 원본 PDF 14차시_체계적성능평가.pdf 14쪽 · 쪽 그림 14쪽

실험이 끝났으면 결과를 코드에 반영하고 이유를 남깁니다.

📝 src/config.py

출력

#
═════════════════════════════════════════════
═════
#  RAG 설정
#  최종 결정 : 2026-08-03
#  근거      : 14차시 벤치마크 (질문 20개 기준)
#              기준선 60% → 최종 90% (+30%p)
#
═════════════════════════════════════════════
═════

# ── 문서 처리 ──
DOC_PATH      = "data/manual.pdf"
CHUNK_SIZE    = 300      # 500→300: +10%p, 토큰 33% 절감
CHUNK_OVERLAP = 30       # chunk_size의 10%

# ── 임베딩 · 저장소 ──
EMBED_MODEL   = "text-embedding-3-small"   # ⚠ 변경 시 인덱스 재생성
INDEX_PATH    = "faiss_index"

# ── 검색 ──
TOP_K         = 5        # 3→5: +10%p (k=8은 노이즈로 하락)
MIN_SCORE     = 0.47     # 9차시 실측값
SEARCH_TYPE   = "similarity"

# ── 생성 ──
LLM_MODEL     = "gpt-4o-mini"
TEMPERATURE   = 0
PROMPT_VER    = "v3"     # v2→v3: +10%p, 토큰 증가 없음

# ── 실험 기록 ──
# | 실험   | 설정                  | 정답률 | 토큰 |
# | 기준선 | chunk500 k3 v2        |  60%  |  840 |
# | 1차    | chunk300 k3 v2        |  70%  |  560 |
# | 2차    | chunk300 k5 v2        |  80%  |  890 |
# | 3차    | chunk300 k5 v3 ★최종  |  90%  |  890 |

💡 주석에 근거를 남기는 이유
석 달 뒤의 나 자신, 또는 새로 합류한 팀원이
"왜 k가 5지? 3이 기본 아닌가?"라고 물었을 때
이 주석 하나로 답이 됩니다.
근거 없는 숫자는 아무도 못 건드립니다.
근거 있는 숫자는 개선할 수 있습니다.