10. 이번 차시 완성 코드

from langchain_text_splitters import RecursiveCharacterTextSplitter
from ingest import load_documents
CHUNK_SIZE = 100
CHUNK_OVERLAP = 20
def prepare_chunks(path: str):
    # 문서를 읽고 조각으로 나눠서 돌려준다
    docs = load_documents(path)
    splitter = RecursiveCharacterTextSplitter(
        chunk_size=CHUNK_SIZE,
        chunk_overlap=CHUNK_OVERLAP,
        separators=["\n\n", "\n", ". ", " ", ""],
        length_function=len,
    )
    chunks = splitter.split_documents(docs)
    # 조각마다 번호를 매겨둔다 (나중에 추적용)
    for i, c in enumerate(chunks):
        c.metadata["chunk_id"] = i
    lengths = [len(c.page_content) for c in chunks]
    print(f"✓ 조각 {len(chunks)}개 생성 "
          f"(평균 {sum(lengths)//len(lengths)}자, "
          f"최소 {min(lengths)}자, 최대 {max(lengths)}자)")
    if min(lengths) < 50:
        print("⚠ 50자 미만 조각이 있습니다. chunk_size 확인 권장")
    return chunks
if __name__ == "__main__":
    chunks = prepare_chunks("data/manual.pdf")
    for c in chunks[:3]:
        print(f"\n[{c.metadata['chunk_id']}] "
              f"p.{c.metadata['page_no']}")
        print(c.page_content[:100])

# ============================================================
# 7차시 | PPT: 07차시_텍스트분할이해.pptx
# 역할: 설명서를 chunk로 나누고 각 조각에 chunk_id를 붙이는 함수
# 입력: ../../data/manual.pdf
# 출력: 로딩 문장, 조각 개수, 앞 3개 본문과 chunk_id
# 흐름:
#   (import 시) manual.pdf -> load_documents
#   prepare_chuncks(경로)
#     -> load_documents -> splitter -> chunk_id 부여 -> 반환
# ============================================================
# Document: 본문(page_content)과 metadata 딕셔너리를 담는 객체
# chunk: 검색에 쓰려고 잘라 낸 문서 조각
# overlap: chunk_overlap. 이웃 조각이 이 글자 수만큼 겹칩니다.
# metadata: 본문 밖의 부가 정보. 여기서 chunk_id(조각 번호)를 추가합니다.

from langchain_community.document_loaders import PyPDFLoader
import os
import sys

from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_core.documents import Document

# split_basic.py와 같은 방법으로 06 폴더의 ingest.py를 찾게 합니다.
CURRENT_DIR = os.path.dirname(__file__)
INGEST_DIR = os.path.join(CURRENT_DIR, "..", "06")
sys.path.insert(0, INGEST_DIR)

from ingest import load_documents

# 이 모듈을 import하기만 해도 아래 한 줄이 실행되어 PDF를 한 번 읽습니다.
docs = load_documents("../../data/manual.pdf")

# 값을 맨 위 상수로 빼 두면, 비교 실험 때 이 두 줄만 고치면 됩니다.
CHUNK_SIZE = 200
CHUNK_OVERLAP = 50

def prepare_chuncks(path):
    # 함수 안에서도 같은 로더로 다시 읽습니다. 이름 철자는 chuncks입니다.
    docs = load_documents(path)

    # 자르는 기준은 split_basic.py와 같고, 크기와 겹침만 상수에서 가져옵니다.
    splitter = RecursiveCharacterTextSplitter(
        chunk_size = CHUNK_SIZE,
        chunk_overlap = CHUNK_OVERLAP,
        separators=["\n\n", "\n", ". ", " ", ""],
        length_function = len,
    )

    chunks = splitter.split_documents(docs)

    # 0부터 번호를 매겨 metadata에 넣습니다. 검색 결과를 구분할 때 씁니다.
    for index, chunk in enumerate(chunks):
        chunk.metadata["chunk_id"] = index

    print(f"{len(chunks)} 개")

    return chunks

# 직접 실행할 때만 아래가 돕니다. 위의 docs 줄 때문에 로딩 문장은 두 번 찍힙니다.
if __name__ == "__main__":
    chunks = prepare_chuncks("../../data/manual.pdf")
    # 전체 대신 앞 3개만 출력합니다.
    for chunk in chunks[:3]:
        print(chunk.page_content)
        print(chunk.metadata["chunk_id"])
        print()