10. 이번 차시 실습 정리

import os, re
from langchain_community.document_loaders import PyPDFLoader

NOISE = ["㈜한국주식회사 대외비"]

def load_documents(path: str):
    # 문서를 읽고, 정리하고, 검증까지 한 번에
    docs = PyPDFLoader(path).load()

    for d in docs:
        # 잡음 제거
        text = d.page_content
        for n in NOISE:
            text = text.replace(n, "")
        text = re.sub(r"\n{3,}", "\n\n", text)
        d.page_content = text.strip()

        # metadata 보강
        d.metadata["filename"] = os.path.basename(path)
        d.metadata["page_no"] = d.metadata.get("page", 0) + 1

    # 검증
    empty = [d.metadata["page_no"] for d in docs
             if len(d.page_content) < 10]
    if empty:
        print("⚠ 비어 있는 페이지:", empty)
    print(f"✓ {len(docs)}쪽 로딩 완료 "
          f"(총 {sum(len(d.page_content) for d in docs)}자)")

    return docs

if __name__ == "__main__":
    docs = load_documents("data/manual.pdf")
    print(docs[0].page_content[:200])

# ============================================================
# 6차시 | PPT: 06차시_문서로딩실습.pptx
# 역할: PDF를 읽고, 잡음 제거와 페이지 검사 후 Document 리스트를 돌려줌
# 입력: ../../data/notice.pdf (직접 실행 시)
# 출력: "N쪽 로딩 완료"와 첫 페이지 본문
# 흐름:
#   PDF 경로
#     -> PyPDFLoader.load()
#     -> 페이지마다 본문 정리, metadata 추가
#     -> 짧은 페이지 검사
#     -> 글자 수 합계 print -> docs 반환
# ============================================================
# Document: 페이지 하나의 본문(page_content)과 metadata 딕셔너리
# metadata: 파일명, 쪽 번호처럼 본문 옆에 붙여 두는 부가 정보

from langchain_community.document_loaders import PyPDFLoader
import os
import re

# 본문에서 지울 문구 목록입니다. 이번 안내문에는 이 단어가 없습니다.
NOISE = ["대외비"]

def load_documents(path):
    loader = PyPDFLoader(path)    
    docs = loader.load()
    for d in docs:
        text = d.page_content

        # 목록에 있는 단어를 빈 문자열로 바꿉니다.
        for noise in NOISE:
            text = text.replace(noise, "")

        # 줄바꿈이 3번 이상 연속이면 2번으로 줄이려는 식입니다.
        # 반환값을 text에 다시 넣지 않으므로, 이 줄은 저장된 본문을 바꾸지 않습니다.
        re.sub(r"\n{3,}", "\n\n", text)

        d.page_content = text.strip()

        # 메타데이터 
        # basename은 경로에서 파일 이름만 꺼내는 함수입니다.
        # 뒤에 ()가 없어서 함수를 호출하지 않고, 함수 자체를 metadata에 넣습니다.
        d.metadata["filename"] = os.path.basename

        # PDF의 page는 0부터입니다. 사람에게 보여줄 쪽 번호는 1을 더합니다.
        d.metadata["page_no"] = d.metadata.get("page", 0) + 1

    # 글자가 거의 없는 페이지 번호를 모읍니다.
    empty_pages = []
    for d in docs:
        text = d.page_content.strip()
        if len(text) < 10:
            page = d.metadata.get("page", "?")
            empty_pages.append(page)
    
    # 짧은 페이지가 있을 때만 안내를 출력합니다.
    if empty_pages:
        print("스캔 pdf 파일의 경우, OCR 처리가 필요합니다. 아래 페이지를 확인하세요.")

    total_len = 0
    for d in docs:
        total_len += len(d.page_content)
    print(f"{len(docs)}쪽 로딩 완료 (총 {total_len} 자)")

    return docs

# 이 파일을 직접 실행할 때만 아래가 실행됩니다. import할 때는 실행되지 않습니다.
if __name__ == "__main__":
    docs = load_documents("../../data/notice.pdf")
    print(docs[0].page_content)