7. 결과 진단 — 무엇을 고칠까

출처: 원본 PDF 36차시_평가실습.pdf 14~15쪽 · 쪽 그림 14쪽 15쪽

🔍 데이터가 말해주는 것
① 부재 질문 100% — 환각이 없습니다
26차시 Verifier와 임계값이 잘 작동 중입니다
→ 여기는 건드리지 않습니다
② easy 100%, hard 71% — 복잡한 질문에 약합니다
기본기는 탄탄한데 난이도가 오르면 떨어집니다
③ compound 67% — 복합 질문이 최대 약점
실패 사유가 모두 "한쪽만 답함"입니다
→ 근거를 여러 개 가져와야 하는데 못 하고 있습니다
④ grade=pass인데 오답
검증은 통과했는데 정답이 아닙니다
→ Verifier가 "완결성"을 안 보기 때문입니다
→ 26차시에서 기준 ④를 뺐던 결과입니다

7-1) 개선 우선순위표

💡 4순위에 주목하세요
conditional이 67%인데 표본이 3건입니다.
1건만 틀려도 33%p가 움직입니다.
이 숫자는 신뢰할 수 없습니다.
"conditional이 약하다"고 결론 내리기 전에
표본을 10건 이상으로 늘려야 합니다.
표본이 적은 그룹의 비율은 해석하지 마세요.