13차시. 프롬프트 최적화
먼저 큰 그림부터
회의를 시작하기 전에 진행자가 "오늘은 예산 얘기만 합니다"라고 말하면, 참석자들은 그 틀 안에서 발언합니다. 안내를 회의 끝에 하면 이미 다들 딴 얘기를 한 뒤입니다. 수업 자료는 RAG 프롬프트도 이와 같다고 설명합니다. 역할, 규칙, 자료를 먼저 두고 질문은 맨 마지막에 둡니다. 그리고 프롬프트는 "이렇게 해 주면 좋겠어"라는 부탁이 아니라 "이렇게 하십시오, 저것은 하지 마십시오"라고 적는 계약서라고 생각하라고 합니다.
오늘 챙겨 갈 것은 세 가지입니다. 무조건 넣어야 할 세 줄(자료만 근거로, 없으면 확인할 수 없다고, 문장 끝에 [번호]), 규칙을 너무 세게 걸면 생기는 과잉 거부, 그리고 [n] 번호가 실제 조각 개수 안에 있는지 코드로 검사하는 법입니다. V3로도 못 고친 실패는 검색 문제로 남깁니다. 14차시에서는 chunk, k, 프롬프트를 하나씩 바꿔 가며 숫자로 비교합니다.