30차시. 질의 재작성 및 재검색
1. 14차시부터 남아 있던 문제
출처: 원본 PDF 30차시_재작성노드실습.pdf 3~4쪽 · 쪽 그림 3쪽 4쪽
기억하시나요? 14차시에서 정답률을 90%까지 올렸지만 두 질문은 끝내 못 고쳤습니다.
■ 여전히 실패하는 질문
──────────────────────────────────────
· "반품하고 싶은데 언제까지 가능해요?"
· "물건 바꾸려면 택배비 누가 내나요?"1-1) 왜 못 찾았을까
🔍 24차시의 fail_reason이 말해줍니다
Q: "반품하고 싶은데 언제까지 가능해요?"
최고 점수: 0.412 (기준 0.47 미달)
fail_reason: low_score
문서에는 이렇게 적혀 있습니다.
"환불은 상품 수령 후 7일 이내에 신청..."
사용자는 "반품", 문서는 "환불".
9차시에서 봤듯이 유사도가 0.78 정도지만,
문장 전체로 보면 0.41까지 떨어집니다.
어휘 불일치(vocabulary mismatch)입니다.
1-2) 지금까지의 처방이 왜 안 통했나
| 시도 | 결과 |
|---|---|
| chunk_size 조정 (7·14차시) | 문서 표현은 그대로. 효과 없음 |
| k 확대 (11·14차시) | 노이즈만 늘고 정답은 여전히 하위권 |
| 프롬프트 강화 (13차시) | 근거가 없으니 프롬프트로 못 고침 |
| 재생성 (27차시) | 같은 근거로 다시 만들 뿐. 소용없음 |
💡 남은 방법은 하나
문서를 바꿀 수 없다면,
질문을 바꿔서 다시 찾는 것입니다.
"반품하고 싶은데 언제까지?"
↓ 재작성
"환불 신청 기한 규정"
↓ 재검색
점수 0.412 → 0.75 → 성공!