39차시. 미니프로젝트 ② 구현과 개선

3. [35~50분] 1차 평가와 진단

출처: 원본 PDF 39차시_미니프로젝트구현.pdf 7쪽 · 쪽 그림 7쪽

3-1) 검색 평가 먼저 (3분, 비용 0)

출력

python -m eval.retrieval

■ 검색 평가 (n=18, k=5)
   Hit Rate@5 :  77.8%
   MRR        : 0.611
   미검출      : 4건

■ 검색 실패 질문
   Q007 [medium] 찾음[12,15] 정답[9]  점수0.44 (weak)
   Q013 [hard]   찾음[]      정답[22] 점수0.31 (empty)
   Q018 [medium] 찾음[3]     정답[7]  점수0.52 (ok)
   Q024 [hard]   찾음[18]    정답[18,25] 점수0.58 (ok)

3-2) 전체 평가 (10분)

출력

python -m eval.run

■ 전체 평가 (n=21)
   Correctness   :  71.4%
   Faithfulness  : 0.941
   Abstention    : 100.0%  (부재 질문 4건)
   평균 응답     :   4.1초
   P95 응답      :  11.3초

■ difficulty별 정답률
   easy          9/ 9  100.0% ████████████████████
   medium        4/ 7   57.1% ███████████
   hard          2/ 5   40.0% ████████

■ type별 정답률
   fact          7/ 7  100.0% ████████████████████
   absent        4/ 4  100.0% ████████████████████
   variant       2/ 4   50.0% ██████████
   compound      1/ 3   33.3% ██████  ⚠표본부족
   conditional   1/ 3   33.3% ██████  ⚠표본부족

🔍 진단 — 데이터가 말하는 것
① Abstention 100% — 환각 없음 ✅
여기는 건드리지 않습니다
② easy 100%, medium 57% — 표현 변형에 약함
검색 실패 4건 중 3건이 medium/hard
→ 검색 단계 문제입니다
③ Hit Rate 77.8%가 병목
Correctness 71.4%보다 조금 높을 뿐
→ 검색만 고쳐도 전체가 올라갑니다
④ P95 11.3초 — 목표(10초) 초과
재검색이 도는 질문이 느립니다
결론: 검색 개선이 1순위입니다.