40차시. 발표와 정리
5. 예상 질문 준비
출처: 원본 PDF 40차시_발표와정리.pdf 10~11쪽 · 쪽 그림 10쪽 11쪽
발표보다 질의응답에서 실력이 드러납니다. 미리 답을 준비하세요.
| 예상 질문 | 답변 방향 |
|---|---|
| "정확도 85%는 무슨 기준인가요?" | 평가셋 구성 · 채점 방법 · Dev/Holdout 차이 |
| "환각이 없다는 걸 어떻게 아나요?" | 부재 질문 5건 · Abstention 100% · Verifier 구조 |
| "왜 k를 7로 했나요?" | 5→7 변경 시 Correctness +14%p, Faithfulness / -1.3% |
| "ChatGPT랑 뭐가 다른가요?" | 내부 문서 · 출처 표시 · 모르면 모른다고 답함 |
| "응답이 느린데요?" | 검증 단계 때문. 캐싱으로 개선 가능(미적용) |
| "실제로 쓸 수 있나요?" | 한계 4가지를 먼저 말하고 조건부로 답변 |
💬 답변의 좋은 형태
❌ "잘 됩니다"
✅ "평가셋 30문항 기준 85.7%입니다.
다만 튜닝에 쓴 Dev Set 점수라
따로 떼어둔 9문항에서는 77.8%였습니다.
표본이 적어 참고치입니다."
숫자 + 측정 방법 + 한계를 함께 말하면
믿을 수 있는 사람이 됩니다.
40시간 동안 배운 태도가 이 한 문장에 담깁니다.
5-1) 모르는 질문을 받으면
"확인해보지 않았습니다"라고 답하세요.
❌ 지어내기
✅ "그건 측정하지 않았습니다.
재보려면 ○○를 하면 됩니다"
우리가 만든 시스템도 그렇게 동작합니다.
근거가 없으면 없다고 말합니다.
만든 사람도 같아야 설득력이 있습니다.