7차시. 텍스트 분할 이해
확인문제와 해답
객관식
Q1분할의 기준으로 이 교안이 강조하는 것은?
해설 모델 길이 한계와 무관 문단이 섞이는 문제를 같이 본다.
Q2평균 길이가 chunk_size보다 짧은 이유는?
해설 RecursiveCharacterTextSplitter의 우선순위다.
Q3overlap의 역할은?
해설 overlap 0이면 경계 문장이 한쪽에만 남거나 사라진다.
단답형
- 이웃 조각이 같은 문자열을 공유하는지 출력하는 파일은 ____ 이다.
정답 보기
check_overlap.py
해설 prepare.py는 로드, 분할, chunk_id까지 묶는다.
- 한글은 글자당 정보량이 많아 영어 예제의 ____ 자를 그대로 쓰지 않는다.
정답 보기
1000
해설 숫자만 적어도 된다.
정답
정답 전체 보기
객관식: 1-B, 2-A, 3-A
단답형: 1. check_overlap.py. 2. 1000.