3. 실습 ① — 질문 수집하기

출처: 원본 PDF 35차시_평가데이터셋구축.pdf 7~8쪽 · 쪽 그림 7쪽 8쪽

50문항을 어디서 구할까요? 네 가지 방법을 조합합니다.

3-1) 방법 ① — 12차시 실패 사례 승격

가장 가치 있는 재료입니다.
12차시에서 모은 실패 사례 10건은
이미 시스템의 약점이 검증된 질문입니다.
그대로 데이터셋에 넣으세요.
이 질문들에서 성능이 오르면 진짜 개선입니다.

3-2) 방법 ② — 문서 역방향 생성

문서의 각 조각을 보고 "이 내용을 물으려면 어떻게 물을까"를 역으로 만듭니다.

[조각] 상품 불량의 경우 30일 이내에 교환이 가능합니다.
       이 경우 배송비는 당사가 부담합니다.

→ Q1: "교환은 며칠 이내에 가능한가요?"        (easy)
→ Q2: "불량품 교환할 때 택배비 누가 내나요?"   (medium)
→ Q3: "단순 변심이랑 불량이랑 배송비가 다른가요?" (hard)

⚠️ 이 방법의 함정
문서를 보면서 만들면 문서 표현을 그대로 씁니다.
문서: "상품 불량의 경우"
내 질문: "상품 불량의 경우 교환은?" ❌ 너무 쉬움
대책 — 만든 뒤에 일부러 표현을 바꾸세요.
"물건이 고장 나서 왔는데 바꿀 수 있나요?" ✅

3-3) 방법 ③ — 남에게 받기 (가장 중요)

👥 문서를 안 본 사람에게 물어보세요
"이 회사 환불 정책에 대해 뭐가 궁금할 것 같아?"
돌아오는 질문들
· "돈 언제 들어와?"
· "박스 버렸는데 환불돼?"
· "카드로 샀는데 현금으로 받을 수 있어?"
내가 절대 생각 못 하는 질문들이 나옵니다.
이 중 일부는 문서에 답이 없을 겁니다.
→ 그건 부재 질문으로 넣으면 됩니다
→ 동시에 문서를 보강할 목록이 됩니다

3-4) 방법 ④ — 운영 로그에서 (31차시)

출처: 원본 PDF 8쪽

31차시에서 만든 trace 로그를 분석해
· 재검색이 발생한 질문
· fallback으로 빠진 질문
· 응답이 느렸던 질문
을 뽑아내면 실제 사용자의 어려운 질문이 나옵니다.