39차시. 미니프로젝트 ② 구현과 개선
7. 자주 막히는 지점
출처: 원본 PDF 39차시_미니프로젝트구현.pdf 15쪽 · 쪽 그림 15쪽
| 증상 | 대응 |
|---|---|
| 모든 질문이 fallback으로 감 | MIN_SCORE가 높습니다. 1-2절 재측정 결과를 / config에 반영했는지 확인 |
| 평가 실행에 시간이 너무 걸림 | 검색 평가만 먼저 돌리세요. 비용 0에 즉시 끝납니다 |
| Hit Rate는 높은데 Correctness가낮음 | 생성 문제입니다. 프롬프트나 Verifier를 보세요 |
| Hit Rate와 Correctness가 비슷하게 낮음 | 검색이 병목입니다. MMR·k를 먼저 손보세요 |
| 개선했는데 점수가 떨어짐 | 정상입니다. 되돌리고 다른 개선을 시도하세요 |
| 30문항 만들 시간이 부족 | 20문항으로 줄이되 부재 질문 비율은 유지하세요 |
7-1) 개선이 효과가 없을 때
🔄 되돌리는 것도 결과입니다
MMR을 적용했는데 점수가 떨어졌다면?
① 즉시 되돌립니다 (config 한 줄)
② 기록에 남깁니다
"MMR 적용 시 Correctness 71.4% → 66.7%
문서 특성상 조항이 독립적이라
다양성 확보가 오히려 노이즈로 작용"
실패한 실험도 발표할 가치가 있습니다.
"해봤는데 안 됐고, 이유는 이렇습니다"는
"안 해봤습니다"보다 훨씬 강한 답변입니다.