5. 실습 ② — PDF 읽기

from langchain_community.document_loaders import PyPDFLoader
loader = PyPDFLoader("data/manual.pdf")
docs = loader.load()
print("총 페이지 수 :", len(docs))
print()
# 모든 쪽을 살펴보기 (지금은 2쪽뿐입니다)
for d in docs:
    page = d.metadata["page"]
    preview = d.page_content[:60].replace("\n", " ")
    print(f"[{page}쪽] {preview} ...")

# ============================================================
# 6차시 | PPT: 06차시_문서로딩실습.pptx
# 역할: PDF 로더로 안내문 PDF를 읽고 첫 페이지를 출력
# 입력: ../../data/notice.pdf
# 출력: 페이지 수, 첫 페이지 본문, metadata
# 흐름:
#   notice.pdf -> PyPDFLoader.load() -> Document 리스트 -> print
# ============================================================
# Document: 페이지 하나의 본문과 metadata를 담는 객체
# metadata: source(파일 경로), page(0부터 세는 쪽 번호) 등이 들어 있는 딕셔너리

# PDF 전용 로더입니다. pypdf 패키지가 설치되어 있어야 합니다.
from langchain_community.document_loaders import PyPDFLoader

# 경로는 실행 위치(실습/src/06) 기준입니다. 다른 폴더에서 실행하면 FileNotFoundError가 납니다.
loader = PyPDFLoader(
    "../../data/notice.pdf"
)

# load()는 쪽마다 Document 하나씩 담은 리스트를 돌려줍니다.
documents = loader.load()
print(f"문서 길이 => {len(documents)}")
print()
# [0]은 첫 쪽입니다. 본문이 비어 있으면 스캔 PDF를 의심합니다.
print(f"문서 내용 =>\n {documents[0].page_content}")
print()
# metadata의 page는 0부터 셉니다. 사람에게 보여 줄 때는 1을 더합니다.
print(f"메타 =>\n {documents[0].metadata}")

# ============================================================
# 6차시 | PPT: 06차시_문서로딩실습.pptx
# 역할: PDF에서 글자가 거의 없는 페이지가 있는지 검사
# 입력: ../../data/notice.pdf 를 읽은 Document 리스트
# 출력: 짧은 페이지가 있을 때만 OCR 안내 문장. 없으면 출력 없음
# 흐름:
#   notice.pdf -> PyPDFLoader.load() -> validate(docs)
#     -> 10자 미만 페이지를 모음
#     -> 있으면 print, 없으면 끝
# ============================================================
# Document: 페이지 하나의 본문(page_content)과 metadata를 담는 객체
# metadata: page 키에 쪽 번호(0부터)가 들어 있습니다.
# OCR: 스캔 이미지 PDF에서 글자를 읽어 내는 처리. 이 파일은 필요 여부만 알립니다.

# PDF 파일을 페이지별 문서로 읽기 위한 로더를 가져옵니다.
from langchain_community.document_loaders import PyPDFLoader

# 실행 위치를 기준으로 PDF 파일의 경로를 지정합니다.
loader = PyPDFLoader(
    "../../data/notice.pdf"
)

# PDF의 각 페이지를 문서 객체로 불러옵니다.
docs = loader.load()

def validate(docs):
    # 텍스트가 비어 있거나 너무 짧은 페이지 번호를 저장합니다.
    empty_pages = []

    # 불러온 각 페이지 문서를 차례로 검사합니다.
    for d in docs:
        # 앞뒤 공백을 제거한 페이지 텍스트를 확인합니다.
        text = d.page_content.strip()
        # 글자 수가 10자 미만이면 텍스트 추출이 제대로 되지 않았다고 봅니다.
        if len(text) < 10:
            # 페이지 번호가 없으면 물음표를 기본값으로 사용합니다.
            page = d.metadata.get("page", "?")
            empty_pages.append(page)

    # 텍스트가 거의 없는 페이지가 있으면 OCR이 필요하다는 안내를 출력합니다.
    # 짧은 페이지가 없으면 이 분기는 실행되지 않고, 함수는 아무것도 출력하지 않습니다.
    if empty_pages:
        print("스캔 pdf 파일의 경우, OCR 처리가 필요합니다. 아래 페이지를 확인하세요.")

# 불러온 PDF 페이지들을 검사합니다.
validate(docs)