이번 차시에서 배우는 것

출처: 원본 PDF 07차시_텍스트분할이해.pdf 1쪽 · 쪽 그림 1쪽

텍스트 분할 이해 — 어떻게 자르느냐가 절반이다

✓ 문서를 왜 잘라야 하는지 두 가지 이유로 설명할 수 있다 ✓ chunk_size가 무엇이고 어떻게 정하는지 감각을 잡는다 ✓ chunk_overlap이 왜 필요한지 직접 눈으로 확인한다 ✓ separators가 의미 단위를 어떻게 지켜주는지 이해한다 ✓ RecursiveCharacterTextSplitter를 자유롭게 다룬다 ✓ 내 문서에 맞는 분할 설정을 스스로 찾아낸다

교안 해설: 이 시간에 하는 일

출처: 교안 07_텍스트분할이해.md

분할은 잘게 자르는 일이 아니라, 조각 하나만 봐도 답이 나오게 검색 단위를 정하는 일입니다. 이유는 두 가지입니다. 모델에 넣을 수 있는 길이에 한계가 있고, 질문과 무관한 문단이 같이 들어가면 답이 흐려집니다.

RecursiveCharacterTextSplitter는 빈 줄, 줄바꿈, 문장 부호, 공백 순으로 자를 곳을 찾습니다. 그래서 평균 길이는 chunk_size보다 짧은 것이 정상입니다. 한글은 글자당 정보량이 많아, 영어 예제의 1000자를 그대로 쓰지 않습니다.

overlap은 경계에 걸린 조건을 양쪽 조각에 남깁니다. check_overlap.py는 실제로 이웃 조각이 같은 문자열을 공유하는지 출력합니다. prepare.py는 로드, 분할, 조각마다 chunk_id 부여까지 한 함수로 묶습니다.

강의 PPT 흐름

출처: 강의 PPT 07차시_텍스트분할이해.pptx (24장)