8. 실습 ⑤ — 남은 실패 분석

출처: 원본 PDF 14차시_체계적성능평가.pdf 16쪽 · 쪽 그림 16쪽

90%가 되었어도 2건은 여전히 틀립니다. 그것도 분석해야 합니다.

📝 최종 실패 확인

final = run("최종", 300, 30, 5, 0.47, "v3", TESTS)

print("\n■ 여전히 실패하는 질문")
for q in final["fails"]:
    print(f"  · {q}")

■ 여전히 실패하는 질문
  · 반품하고 싶은데 언제까지 가능해요?
  · 물건 바꾸려면 택배비 누가 내나요?

🔍 12차시 진단법으로 분류하면
"반품하고 싶은데 언제까지?"
검색 결과 확인 → 정답 조각이 안 옴
→ 검색 실패 (표현 차이)
→ 처방: 질의 재작성 (30차시)
"택배비 누가 내나요?"
검색 결과 확인 → 조각은 왔는데 조건이 잘림
→ 문맥 부족
→ 처방: overlap 증가 또는 재순위 (33차시)
둘 다 지금 단계에서는 못 고칩니다.
3부에서 배울 기법이 필요합니다.

⚠️ 90%에서 멈추는 것이 정답일 때도 있습니다
나머지 10%를 잡으려고
· 임계값을 낮추면 → 환각이 늘어납니다
· k를 늘리면 → 노이즈가 늘어납니다
· 규칙을 더 걸면 → 과잉 거부가 늘어납니다
어느 지점부터는 하나를 얻으면 하나를 잃습니다.
그 지점을 알아채는 것도 실력입니다.
남은 10%는 3부의 구조적 개선으로 해결합니다.