5. 실습 ② — 문서 준비와 로딩

# ==============================================================
# 보충 미니프로젝트. 코드 폴더는 rag_app_prj
# PPT: 미니프로젝트 부산 2박 3일 여행 가이드
# 역할: busan_guide.pdf를 청크로 나누어 FAISS에 저장하거나 기존 인덱스를 읽습니다.
# 읽는 키: 없음 (config)
# 쓰는 키: FAISS 저장소. 새로 만들면 인덱스 파일 저장
# 그래프:
#   docs/busan_guide.pdf
#     |
#     v
#   청크 + 임베딩 --> faiss_index
#     |
#     v
#   rag._search
# --------------------------------------------------------------
# rag_app/indexer.py와 같은 함수입니다. 문서 경로만 config를 통해 가이드 PDF를 가리킵니다.
# page_no는 PDF 로더 page에 1을 더한 값입니다.
# get_store는 API 키가 필요하므로 호출하지 않았습니다. faiss 파일은 복사하지 않습니다.
# ==============================================================

# 파일 경로를 운영체제와 상관없이 다루려고 Path 를 씁니다.
from pathlib import Path

# PDF 읽기, FAISS 저장소, OpenAI 임베딩, 글자 수 기준 분할기를 가져옵니다.
from langchain_community.document_loaders import PyPDFLoader
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 문서 경로·청크 크기 같은 값은 모두 config 에서 읽습니다. 문서를 바꿀 때 이 파일은 손대지 않습니다.
import config

# 이 파일이 있는 폴더입니다. 상대 경로를 이 폴더 기준으로 바꿀 때 씁니다.
BASE = Path(__file__).resolve().parent

# rebuild=True 면 저장된 인덱스가 있어도 새로 만듭니다. 문서를 바꾼 뒤 한 번은 이렇게 부릅니다.
def get_store(rebuild=False):
    # INDEX_PATH 가 "faiss_index" 처럼 상대 경로면 이 폴더 아래로 붙입니다. 실행 위치가 달라도 같은 곳을 찾습니다.
    index_path = Path(config.INDEX_PATH)
    if not index_path.is_absolute():
        index_path = BASE / index_path

    # 저장할 때와 불러올 때 같은 임베딩 모델을 써야 점수가 맞습니다.
    embeddings = OpenAIEmbeddings(model=config.EMBED_MODEL)

    # 인덱스 파일 두 개가 다 있고 rebuild 가 아니면, API 비용 없이 저장된 것을 불러옵니다.
    if (index_path / "index.faiss").is_file() and (index_path / "index.pkl").is_file() and not rebuild:
        # allow_dangerous_deserialization 은 내가 만든 pkl 파일이라 믿고 연다는 표시입니다.
        return FAISS.load_local(
            str(index_path),
            embeddings,
            allow_dangerous_deserialization=True,
        )

    # 여기부터는 인덱스를 새로 만드는 길입니다. PDF 한 쪽이 Document 하나가 됩니다.
    documents = PyPDFLoader(str(config.DOC_PATH)).load()
    # CHUNK_SIZE 글자 안팎으로 자르고, 앞 조각과 CHUNK_OVERLAP 글자만큼 겹치게 합니다.
    splitter = RecursiveCharacterTextSplitter(
        chunk_size=config.CHUNK_SIZE,
        chunk_overlap=config.CHUNK_OVERLAP,
    )
    chunks = splitter.split_documents(documents)

    # 답변에 "파일 이름 몇 페이지"를 보여 주려고 조각마다 출처를 적어 둡니다.
    for document in chunks:
        document.metadata["filename"] = Path(config.DOC_PATH).name
        # PDF 로더의 page 는 0부터 세므로 1을 더해 사람이 읽는 쪽 번호로 바꿉니다.
        document.metadata["page_no"] = document.metadata.get("page", 0) + 1

    # 조각마다 임베딩을 만들어 저장소에 넣습니다. 이 줄에서 API 비용이 듭니다.
    store = FAISS.from_documents(chunks, embeddings)
    # 다음 실행부터는 위의 load_local 로 바로 불러오도록 파일로 저장합니다.
    store.save_local(str(index_path))
    return store

# ==============================================================
# 보충 미니프로젝트. 코드 폴더는 rag_app_prj
# PPT: 미니프로젝트 부산 2박 3일 여행 가이드
# 역할: 부산 가이드 앱의 상수. 문서 경로는 이 폴더의 docs/busan_guide.pdf 입니다.
# 읽는 키: 없음
# 쓰는 키: 없음
# 그래프:
#   build_guide가 PDF를 만들고
#   indexer가 그 PDF로 FAISS를 만들며
#   rag.py가 검색·생성 상수를 읽습니다.
# --------------------------------------------------------------
# 보충 미니프로젝트. PPT 차시 번호와는 별도이고, 코드 폴더는 rag_app_prj입니다.
# CHUNK_SIZE 500, CHUNK_OVERLAP 50, TOP_K 5, MIN_SCORE -0.01, 모델 gpt-4o-mini, 프롬프트 v3.
# 문서가 없을 때 문장은 '가이드에서 관련 내용을 찾지 못했습니다.' 입니다.
# faiss_index 폴더는 복사하지 않습니다.
# ==============================================================

from pathlib import Path

BASE = Path(__file__).resolve().parent

# ── 문서 처리 ──
DOC_PATH = BASE / "docs" / "busan_guide.pdf"
CHUNK_SIZE = 500
CHUNK_OVERLAP = 50
# ── 임베딩 · 저장소 ──
EMBED_MODEL = "text-embedding-3-small"
INDEX_PATH = "faiss_index"
# ── 검색 ──
TOP_K = 5
MIN_SCORE = -0.01
SEARCH_TYPE = "similarity"
# ── 생성 ──
LLM_MODEL = "gpt-4o-mini"
TEMPERATURE = 0
PROMPT_VER = "v3"

# ── 메시지 ──
MSG_NO_DOC = "가이드에서 관련 내용을 찾지 못했습니다."
MSG_ERROR = "일시적인 오류가 발생했습니다. 잠시 후 다시 시도해주세요."