1. 왜 문서를 잘라야 할까?

출처: 원본 PDF 07차시_텍스트분할이해.pdf 3~4쪽 · 쪽 그림 3쪽 4쪽

6차시에서 12페이지 PDF를 읽었습니다. 그런데 이걸 통째로 LLM에게 주면 안 될까요? 안 됩니다. 이유가 두 가지 있습니다.

1-1) 이유 ① — 넣을 수 있는 양이 정해져 있다

📦 이삿짐 상자 비유
이삿짐 상자에는 담을 수 있는 양이 정해져 있습니다.
아무리 밀어 넣어도 뚜껑이 안 닫히면 소용없습니다.
LLM의 컨텍스트 창도 똑같습니다.
· 300페이지짜리 규정집 → 넣을 수 없습니다
· 넣을 수 있어도 → 비용이 수십 배로 뜁니다
그래서 필요한 부분만 골라 넣어야 합니다.
그러려면 먼저 잘라두어야 하고요.

1-2) 이유 ② — 검색의 정밀도 때문에

사실 이쪽이 더 중요합니다. 크기 문제는 돈으로 해결할 수 있지만, 이건 아닙니다.

🔎 도서관에서 책 찾기 비유
"환불 규정이 뭐야?"라고 물었을 때
자르지 않았다면
→ 검색 결과: "이용약관.pdf 전체" (300페이지)
→ 이걸 다 읽고 답하라고요?
→ 관련 없는 299페이지가 방해가 됩니다
잘 잘라두었다면
→ 검색 결과: "제12조 환불 규정" 문단 하나
→ 딱 필요한 것만 근거로 씁니다
→ 답이 정확하고 출처도 명확합니다
자른다는 건 '검색 단위를 설계한다'는 뜻입니다.

⚠️ 여기가 핵심입니다
많은 분들이 분할을 "그냥 잘게 자르는 작업"으로 생각합니다.
아닙니다.
"검색됐을 때 이 조각 하나만 봐도 답이 나오는가?"
이 질문에 Yes가 되도록 자르는 것이 분할입니다.
이 관점을 가지면 chunk_size를 정하는 게 훨씬 쉬워집니다.