체크리스트와 과제

원본 PDF 끝부분의 체크리스트, 과제, 다음 차시 미리보기를 한 페이지에 모았습니다.

이번 차시 체크리스트

출처: 원본 PDF 19쪽 · 쪽 그림 19쪽

개념 이해
□ 4단 구조(역할·규칙·자료·질문)를 설명할 수 있다
□ 질문을 맨 마지막에 두는 이유를 안다
□ 필수 규칙 3종을 외운다
□ 과잉 거부가 무엇이고 왜 문제인지 안다
□ 프롬프트로 고칠 수 없는 문제가 있음을 안다
실습
□ prompts.py로 프롬프트를 파일 분리했다
□ V1 · V2 · V3를 같은 근거로 비교했다
□ 인용 번호 검증 코드를 만들었다
□ 12차시 질문 20개로 버전별 정답률을 측정했다
□ 개선 전후 수치를 기록했다
□ rag_v3.py를 완성했다

과제

출처: 원본 PDF 19쪽 · 쪽 그림 19쪽

🎯 이번 차시 과제
1. 나만의 프롬프트 V4 만들기
V3를 기반으로 내 문서 성격에 맞게 고치세요.
예: 규정 문서라면 "조항 번호를 함께 밝히십시오" 추가
2. 버전별 성능표 작성
​| 버전 | 정답률 | 환각 건수 | 과잉거부 건수 | 평가 |
​| v1 | | | | |
​| v2 | | | | |
​| v3 | | | | |
​| v4 | | | | |
3. 남은 실패 분류하기 (중요)
V4로도 실패한 질문을 12차시 진단표로 분류하세요.
"프롬프트로 해결 가능" / "검색 문제라 불가능"으로 나누면
14차시에서 무엇을 손볼지 명확해집니다.

다음 차시 미리보기

출처: 원본 PDF 20쪽 · 쪽 그림 20쪽

14차시: 성능 비교 실습
지금까지 chunk_size, k, 프롬프트를 각각 다뤘습니다.
그런데 이 셋을 함께 보면 어떨까요?
· 한 번에 하나씩만 바꾸는 실험 설계
· 설정 조합별 정답률 측정
· 정답률과 토큰 비용을 함께 보기
· 내 문서의 최적 조합을 근거를 갖고 확정
감이 아니라 숫자로 결정하는 법을 배웁니다.

💬 마무리
오늘 배운 것 중 가장 중요한 것은 "규칙을 세게 걸수록 좋다"가 틀렸다는 사실입니다.
V2처럼 제약이 과하면 답할 수 있는 질문까지 거부하는 쓸모없는 시스템이 됩니다. 안전한 것과 유용한 것 사이에 균형점이 있고, 그 점은 측정해서 찾아야 합니다.
그리고 하나 더. V3로도 못 고친 실패가 남았을 겁니다. 그건 프롬프트 문제가 아니라 검색 문제입니다. 도구의 한계를 아는 것도 실력입니다.
다음 차시에서 숫자로 결정하는 법을 배웁니다. 📏