7차시. 텍스트 분할 이해
정리
- 문서를 자르는 이유는 두 가지입니다. 컨텍스트 창에 넣을 양이 정해져 있고, 검색 정밀도가 떨어지기 때문입니다. (7차시 「1. 왜 문서를 잘라야 할까?」)
- 분할은 "조각 하나만 봐도 답이 나오는가"에 Yes가 되도록 검색 단위를 설계하는 일입니다. (7차시 「1. 왜 문서를 잘라야 할까?」 › 1-2) 이유 ② — 검색의 정밀도 때문에)
- 한글 문서는 영어 권장값의 절반쯤인 chunk_size 400~500에서 시작합니다. (7차시 「2. chunk_size — 얼마나 크게 자를까?」 › 2-2) 한글 문서의 특수성)
- chunk_overlap은 경계에 걸린 문장을 양쪽 조각에 남기며, chunk_size의 10~20%가 출발점입니다. (7차시 「3. chunk_overlap — 왜 겹쳐야 할까?」)
- RecursiveCharacterTextSplitter는 문단, 줄, 문장, 공백 순으로 자를 곳을 찾아서 평균 길이가 chunk_size보다 짧게 나옵니다. (7차시 「4. separators — 아무 데나 자르면 안 된다」)
- 숫자만 보지 말고 조각을 직접 읽으며 네 가지 질문으로 값을 조정합니다. (7차시 「8. 실습 ④ — 내 문서에 맞는 값 찾기」 › 8-1) 판단 기준 — 이 질문을 던지세요)