5. 개선 전후 비교표

출처: 원본 PDF 39차시_미니프로젝트구현.pdf 11~12쪽 · 쪽 그림 11쪽 12쪽

📊 정직하게 읽으면
얻은 것
Correctness가 목표를 넘었습니다 (+14.3%p)
medium/hard 질문에서 특히 개선됐습니다
잃은 것
Faithfulness가 0.013 떨어졌습니다
→ k를 7로 올려 노이즈가 늘어난 대가입니다
→ 36차시 ablation에서 예측한 그대로입니다
남은 문제
P95 11.8초로 목표 미달
→ 33차시 캐싱·모델 티어링이 필요합니다
→ 오늘은 시간이 없으니 한계로 기록합니다
못 한 것을 솔직히 적는 것이 좋은 보고입니다.

5-1) 트레이드오프를 어떻게 볼 것인가

💡 Faithfulness 0.013 하락을 받아들일까?
37차시 루브릭의 가중치를 보세요.
· 정확성 35% · 근거성 30%
Correctness +14.3%p vs Faithfulness -1.3%
→ 가중치를 고려하면 명백히 이득입니다
하지만 의료·법률 서비스라면?
근거성 가중치가 40%이므로 재고해야 합니다.
같은 결과도 서비스 성격에 따라 판단이 다릅니다.
이것이 37차시에서 루브릭을 먼저 만든 이유입니다.