6. 실습 ② — overlap을 눈으로 확인하기

def show_boundary(chunks, i=0):
    print(f"=== {i}번 조각의 마지막 80자 ===")
    print(chunks[i].page_content[-80:])
    print()
    print(f"=== {i+1}번 조각의 처음 80자 ===")
    print(chunks[i+1].page_content[:80])
    print()
    print("▶ 위아래에 같은 문장이 보이면 overlap 정상 작동!")
# 3·4번 조각 사이가 실제로 겹치는 지점입니다
show_boundary(chunks, 3)

# ============================================================
# 7차시 | PPT: 07차시_텍스트분할이해.pptx
# 역할: chunk_overlap 때문에 이웃 조각의 경계가 겹치는지 확인
# 입력: ../../data/manual.pdf
# 출력: 로딩 문장, 0번 조각의 끝 20자, 1번 조각의 앞 20자
# 흐름:
#   manual.pdf -> load_documents
#     -> 페이지 본문을 한 문자열로 합침
#     -> splitter (크기 30, 겹침 20)
#     -> show_boundary()
# ============================================================
# Document: 본문과 metadata를 담는 객체. 여기서는 합친 글 전체를 담습니다.
# chunk: 잘라 낸 조각. overlap: 앞 조각 끝과 다음 조각 시작이 겹치는 글자 수

from langchain_community.document_loaders import PyPDFLoader
import os
import sys

from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_core.documents import Document

CURRENT_DIR = os.path.dirname(__file__)
INGEST_DIR = os.path.join(CURRENT_DIR, "..", "06")
sys.path.insert(0, INGEST_DIR)

from ingest import load_documents

docs = load_documents("../../data/manual.pdf")

# 크기를 30, 겹침을 20으로 두어 경계가 잘 보이게 합니다.
splitter = RecursiveCharacterTextSplitter(
    # chunk_size = 100,
    chunk_size = 30,
    chunk_overlap = 20,
    separators=["\n\n", "\n", ". ", " ", ""],
    length_function = len,
)

# chunk_overlap 내용을 알려면?
# chunks = splitter.split_documents(docs)
# for i in range(len(chunks) - 1):
#     print(f"Chunk {i} 끝: {chunks[i].page_content[-50:]!r}")
#     print(f"Chunk {i + 1} 시작: {chunks[i + 1].page_content[:50]!r}")
#     print()

# 페이지를 따로 자르면 경계가 페이지에서 끊깁니다. 글을 한 덩어리로 합칩니다.
full_text = ""

for doc in docs:
    full_text += doc.page_content + "\n\n"

merged_doc = Document(page_content = full_text)

chunks = splitter.split_documents([merged_doc])

def show_boundary(chunks, index=0):
    # index 조각의 마지막 20자와 다음 조각의 처음 20자를 출력합니다.
    print(chunks[index].page_content[-20:])
    print()
    print(chunks[index+1].page_content[:20])
    print('='*50)

show_boundary(chunks, 0)