이번 차시에서 배우는 것

출처: 원본 PDF 30차시_재작성노드실습.pdf 1쪽 · 쪽 그림 1쪽

질의 재작성 및 재검색 — 못 찾으면 다르게 물어본다

✓ 검색 실패의 원인이 '표현 차이'임을 진단한다
✓ 질문을 다르게 표현하는 rewrite 노드를 만든다
✓ 재검색 루프를 구현하고 상한을 건다
✓ question과 query를 나눠둔 설계의 진가를 확인한다 ✓ 14차시부터 남아 있던 실패를 실제로 해결한다
✓ 재검색의 비용과 효과를 측정한다

교안 해설: 이 시간에 하는 일

출처: 교안 30_질의재작성기초.md

12차시부터 남은 실패는 사용자는 '반품', 문서는 '환불'처럼 말이 달라 점수가 기준에 못 미치는 경우입니다. 청크와 k를 바꿔도 문서의 단어는 그대로입니다. 문서를 못 바꾸면 검색어만 바꿉니다.

question은 답변용 원문이라 유지하고 query만 바꿉니다. 이미 시도한 검색어를 프롬프트에 넣지 않으면 temperature 0에서 같은 재작성이 반복됩니다. tried_queries는 reducer로 쌓입니다. 재생성 횟수 retries와 재검색 횟수 rewrites는 비용이 다르므로 카운터를 나눕니다.

기록된 실행에서 '대표이사가 누구인가요?'는 rewrites 2, grade giveup, 약 3.41초였습니다. 문서에 없어 두 번 다시 쓰고도 지어내지 않고 끝난 사례입니다. '환불은 며칠 이내에 신청해야 하나요?'는 rewrites 0, grade pass, 약 6.69초인 기록이 있습니다. 샘플은 이 기록만 사용합니다.

강의 PPT 흐름

출처: 강의 PPT 30차시_질의재작성재검색.pptx (20장)