3. 실습 ① — 인덱스 만들고 저장하기

from dotenv import load_dotenv
from langchain_openai import OpenAIEmbeddings
from langchain_community.vectorstores import FAISS
from prepare import prepare_chunks
load_dotenv()

INDEX_PATH  = "faiss_index"
EMBED_MODEL = "text-embedding-3-small"

emb = OpenAIEmbeddings(model=EMBED_MODEL)

# ① 조각 준비
chunks = prepare_chunks("data/manual.pdf")

# ② 인덱스 생성 — 여기서 임베딩 비용 발생
print("임베딩 중...")
store = FAISS.from_documents(chunks, emb)

# ③ 디스크에 저장 (핵심!)
store.save_local(INDEX_PATH)
print(f"✓ 인덱스를 {INDEX_PATH}/ 에 저장했습니다")

# ============================================================
# 10차시 | PPT: 10차시_벡터저장소이해.pptx
# 역할: chunk를 embedding으로 바꿔 FAISS 인덱스 파일로 저장
# 입력: ../../data/manual.pdf
# 출력: 로딩/조각 수, 저장 완료, faiss_index 안의 파일 목록
# 흐름:
#   manual.pdf -> prepare_chuncks (chunk)
#     -> OpenAIEmbeddings (embedding, vector)
#     -> FAISS.from_documents -> save_local -> 파일 목록 print
# ============================================================
# chunk: 잘라 낸 문서 조각
# embedding: 문장을 숫자 목록으로 바꾼 값. vector는 그 목록입니다.
# FAISS: 벡터를 파일로 저장하고 나중에 비슷한 벡터를 찾는 저장소

from langchain_openai import OpenAIEmbeddings
from dotenv import load_dotenv
import os
import sys
from langchain_community.vectorstores import FAISS

load_dotenv()

# 저장할 때 쓴 모델을 불러올 때도 똑같이 써야 합니다. (9차시: 모델마다 좌표계가 다릅니다)
emb = OpenAIEmbeddings(model="text-embedding-3-small")

# 7차시 폴더의 prepare.py를 가져오기 위한 준비입니다.
CURRENT_DIR = os.path.dirname(__file__)
PREPARE_DIR = os.path.join(CURRENT_DIR, "..", "07")

sys.path.insert(0, PREPARE_DIR)
from prepare import prepare_chuncks

# 경로와 모델 이름을 상수로 모아 두면 다른 파일과 맞추기 쉽습니다.
DOC_PATH = "../../data/manual.pdf"
INDEX_PATH = "faiss_index"
EMBED_MODEL = "text-embedding-3-small"

# import 시 한 번, 여기서 한 번 더 PDF를 읽습니다. 조각 수도 출력됩니다.
chunks = prepare_chuncks(DOC_PATH)
print(f"총 {len(chunks)}개의 청크를 준비했습니다.")

print("임베딩 중...")

# 각 chunk의 벡터를 만들어 FAISS에 넣습니다. 네트워크 호출입니다.
store = FAISS.from_documents(chunks, emb)

# 메모리에 있던 인덱스를 faiss_index 폴더에 파일로 씁니다. 오늘의 핵심 한 줄입니다.
store.save_local(INDEX_PATH)

print("인덱스를 저장했습니다.")

# 저장한 파일의 목록 확인
# index.faiss(벡터)와 index.pkl(원문과 metadata) 두 개가 한 쌍으로 보여야 합니다.
saved_files = os.listdir(INDEX_PATH)
print(f"\n'{INDEX_PATH}' 디렉토리에 저장된 파일 수: {len(saved_files)}")
print("저장된 파일 목록:")
for file in saved_files:
    print(file)