7차시. 텍스트 분할 이해

2. chunk_size — 얼마나 크게 자를까?

출처: 원본 PDF 07차시_텍스트분할이해.pdf 5~6쪽 · 쪽 그림 5쪽 6쪽

가장 먼저 정해야 할 값입니다. 정답은 없고, 문서 성격에 따라 다릅니다. 먼저 크기에 따라 무엇이 좋아지고 나빠지는지 봅시다.

크기	장점	단점
200 이하	검색이 매우 정밀함 / 토큰 비용이 적음	문맥이 끊겨 답이 단편적 / 조각 수가 너무 많아짐
300~500	정밀도와 문맥의 균형 / 대부분의 문서에 무난	긴 설명이 여러 조각에 흩어짐
800~1000	설명이 통째로 담김 / 답변이 풍부해짐	관련 없는 내용이 섞이기 쉬움
2000 이상	문서 흐름이 잘 유지됨	노이즈·비용 급증 / 검색 정밀도 급락

2-1) 왜 크다고 좋은 게 아닌가

🍰 케이크 자르기 비유
"딸기 부분만 먹고 싶어요"
크게 자르면 (chunk_size 2000)
→ 케이크 절반을 통째로 받습니다
→ 딸기는 들어 있지만 초콜릿·크림도 다 딸려옵니다
→ 원한 것만 얻지 못합니다
적당히 자르면 (chunk_size 400)
→ 딸기가 올라간 조각 하나를 받습니다
→ 딱 원하던 것입니다
너무 잘게 자르면 (chunk_size 50)
→ 딸기 한 알만 받습니다
→ 케이크인지 뭔지 알 수가 없습니다

2-2) 한글 문서의 특수성

출처: 원본 PDF 6쪽

⚠️ 영어 기준 권장값을 그대로 쓰지 마세요
인터넷 예제는 대부분 영어 기준입니다.
보통 chunk_size=1000을 권합니다.
하지만 한글은 글자당 정보량이 훨씬 많습니다.
· 영어 1000자 ≈ 단어 150~200개
· 한글 1000자 ≈ 단어 300개 이상 분량
그래서 한글 문서는
영어 권장값의 절반 정도에서 시작하는 것이 좋습니다.

👉
한글 문서 출발점: chunk_size = 400 ~ 500