5. 실습 ① — 기본 분할 해보기

from langchain_text_splitters import RecursiveCharacterTextSplitter
from ingest import load_documents          # 6차시에서 만든 함수
docs = load_documents("data/manual.pdf")
splitter = RecursiveCharacterTextSplitter(
    chunk_size=100,        # 조각 하나의 최대 길이
    chunk_overlap=20,      # 겹치는 길이
    separators=["\n\n", "\n", ". ", " ", ""],   # 자를 곳 우선순위
    length_function=len,   # 길이를 세는 방법 (글자 수)
)
chunks = splitter.split_documents(docs)
print(f"원본 {len(docs)}쪽  →  조각 {len(chunks)}개")
print()
print("--- 0번 조각 ---")
print(chunks[0].page_content)
print()
print("메타데이터:", chunks[0].metadata)

# ============================================================
# 7차시 | PPT: 07차시_텍스트분할이해.pptx
# 역할: 설명서 PDF를 작은 chunk로 나누고 첫 조각과 metadata를 출력
# 입력: ../../data/manual.pdf (06차시 ingest.load_documents 사용)
# 출력: 로딩 문장, 조각 개수, 첫 조각 본문, metadata
# 흐름:
#   manual.pdf
#     -> ingest.load_documents()
#     -> RecursiveCharacterTextSplitter
#     -> chunks -> print
# ============================================================
# Document: 본문(page_content)과 metadata를 담는 객체
# metadata: 파일 경로, 쪽 번호 등 부가 정보 딕셔너리
# chunk: 긴 문서를 잘라 낸 조각. 여기서도 Document입니다.
# overlap: 이웃 조각끼리 겹치는 글자 수 (chunk_overlap)

from langchain_community.document_loaders import PyPDFLoader
import os
import sys

# 분할기는 langchain_text_splitters 패키지에 따로 들어 있습니다.
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 이 파일 위치를 기준으로 src/06을 import 경로에 넣습니다.
CURRENT_DIR = os.path.dirname(__file__)
INGEST_DIR = os.path.join(CURRENT_DIR, "..", "06")
# 맨 앞(0번)에 넣어서 다른 곳의 ingest보다 06 폴더의 것을 먼저 찾게 합니다.
sys.path.insert(0, INGEST_DIR)

# 6차시에 만든 함수를 그대로 다시 씁니다.
from ingest import load_documents

# 불러오는 동안 "N쪽 로딩 완료"가 출력됩니다.
docs = load_documents("../../data/manual.pdf")

# 문단, 줄, 문장, 공백 순으로 자르는 기준입니다. 길이는 len(글자 수)입니다.
# chunk_size=100은 실습용으로 작게 잡은 값입니다. 한글 문서의 출발점은 400~500입니다.
splitter = RecursiveCharacterTextSplitter(
    chunk_size = 100,
    chunk_overlap = 20,
    separators=["\n\n", "\n", ". ", " ", ""],
    length_function = len,
)

# split_documents는 Document 리스트를 받아 더 작은 Document 리스트를 돌려줍니다.
# 각 조각은 원래 쪽의 metadata를 그대로 물려받습니다.
chunks = splitter.split_documents(docs)

# 조각 수는 쪽 수(3)보다 훨씬 많아집니다.
print(len(chunks))
print(chunks[0].page_content)
# filename 값은 ingest.py에서 함수 호출 없이 넣었으므로 함수 객체가 보입니다.
print(chunks[0].metadata)