4. 첫 번째 LangChain 프로젝트

from langchain.document_loaders import TextLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter

print("LangChain 테스트")

# 1단계: 문서 로드
loader = TextLoader("data/sample.txt")
documents = loader.load()
print(f"문서 개수: {len(documents)}")

# 2단계: 텍스트 분할
splitter = RecursiveCharacterTextSplitter(
    chunk_size=150,
    chunk_overlap=30
)
chunks = splitter.split_documents(documents)
print(f"chunk 개수: {len(chunks)}")

# 3단계: 결과 확인
for i, chunk in enumerate(chunks, 1):
    print(f"Chunk {i}: {len(chunk.page_content)} 글자")

# ============================================================
# 5차시 | PPT: 05차시_LangChain입문.pptx
# 역할: 안내문을 읽어 짧은 조각(chunk)으로 나누고 겹침(overlap)을 확인
# 입력: ../../data/notice.txt
# 출력: 조각 개수와 각 조각의 본문
# 흐름:
#   notice.txt
#     -> TextLoader.load()  -> Document
#     -> RecursiveCharacterTextSplitter
#     -> chunk 리스트 -> print
# ============================================================
# Document: 본문(page_content)과 부가 정보(metadata)를 묶은 객체
# chunk: 긴 글을 검색하기 좋게 잘라 낸 조각. 여기서도 Document입니다.
# overlap: 앞 조각의 끝과 다음 조각의 시작이 같은 글자로 겹치는 길이

# 읽는 도구(TextLoader)와 자르는 도구(Splitter)는 서로 다른 패키지에 들어 있습니다.
from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter

# src/05 폴더에서 실행해야 이 상대 경로가 실습/data/notice.txt를 가리킵니다.
# 한글 파일이므로 encoding="utf-8"을 꼭 적습니다.
loader = TextLoader(
    "../../data/notice.txt",
    encoding="utf-8"
)

# TXT 파일 하나라서 Document 1개짜리 리스트가 돌아옵니다.
documents = loader.load()

# 문서를 청크로 나누기
# chunk_size: 한 조각의 최대 글자 수. chunk_overlap: 이웃 조각과 겹치는 글자 수.
# 문단, 줄, 문장 경계를 먼저 찾아 자르므로 조각 길이가 정확히 150자가 되지는 않습니다.
splitter = RecursiveCharacterTextSplitter(
    chunk_size = 150,
    chunk_overlap = 30,
)

# 변수 이름은 chuncks입니다. split_documents는 Document 리스트를 돌려줍니다.
chuncks = splitter.split_documents(documents)
print("="*50)
print(f" chunk 갯수 => {len(chuncks)}")
# enumerate(리스트, 1)은 1번부터 번호를 붙입니다.
for i, chunck in enumerate(chuncks, 1):
    # 조각도 Document이므로 본문은 page_content로 꺼냅니다.
    # [1]의 끝부분이 [2]의 앞에 다시 나오면 overlap이 작동한 것입니다.
    print(f"[{i}] \n {chunck.page_content}")
    print()