39차시. 미니프로젝트 ② 구현과 개선

4. [50~60분] 개선 적용

출처: 원본 PDF 39차시_미니프로젝트구현.pdf 9~10쪽 · 쪽 그림 9쪽 10쪽

10분밖에 없습니다. 효과가 큰 것 하나만 골라 적용합니다.

4-1) 개선 후보와 예상 효과

순위	개선안	소요	예상 효과
1	MMR 적용 (11차시)	2분	복합 질문 개선 +5~8%p
2	k 5 → 7 상향	1분	Hit Rate +5%p, 노이즈 주의
3	MAX_RESEARCH 1 → 2	1분	weak 질문 개선, 속도 저하
4	chunk 재조정	10분	근본적이나 재인덱싱 필요

⚠️ 4번은 오늘 하지 마세요
chunk를 바꾸면 인덱스를 다시 만들어야 합니다.
· 재인덱싱 3~5분
· 임계값 재측정 5분
· 재평가 10분
10분으로는 불가능합니다.
시간이 없을 땐 인덱스를 안 건드리는 개선을 고르세요.

4-2) 개선 적용 (3분)

출력

# config.py
SEARCH_TYPE = "mmr"      # similarity → mmr
TOP_K       = 7          # 5 → 7

# 인덱싱 불필요! 검색 옵션만 바뀝니다

4-3) 재측정 (7분)

출력

python -m eval.run

■ 전체 평가 (n=21)  [개선 후]
   Correctness   :  85.7%   (+14.3%p)
   Faithfulness  : 0.928    (-0.013)
   Abstention    : 100.0%   (유지)
   평균 응답     :   4.4초
   P95 응답      :  11.8초

■ difficulty별
   easy          9/ 9  100.0%
   medium        6/ 7   85.7%  (+28.6%p)
   hard          3/ 5   60.0%  (+20.0%p)