4. 실습 ② — 불러와서 재사용하기

from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings

emb = OpenAIEmbeddings(model="text-embedding-3-small")

# 저장된 인덱스 불러오기 (비용 0, 즉시 완료)
store = FAISS.load_local(
    "faiss_index",
    emb,
    allow_dangerous_deserialization=True,
)
print("✓ 인덱스 로드 완료")

found = store.similarity_search("환불 규정", k=3)
print(f"검색 결과 {len(found)}건")

# ============================================================
# 10차시 | PPT: 10차시_벡터저장소이해.pptx
# 역할: 저장해 둔 FAISS 인덱스를 열고 질문과 가까운 chunk 3개를 출력
# 입력: faiss_index 폴더, 질문 "환불 규정이 궁금해요"
# 출력: 로드 문장, 검색 건수, 각 조각 본문
# 흐름:
#   prepare_chuncks (조각 준비 출력만 하고 검색에는 기존 인덱스 사용)
#     -> FAISS.load_local
#     -> similarity_search(질문 embedding) -> print
# ============================================================
# embedding: 질문을 숫자 목록(vector)으로 바꿀 때 쓰는 모델
# vector: 그 숫자 목록. FAISS: 저장해 둔 벡터에서 가까운 것을 찾는 저장소
# chunk: 인덱스 안에 들어 있는 문서 조각

from langchain_openai import OpenAIEmbeddings
from dotenv import load_dotenv
import os
import sys
from langchain_community.vectorstores import FAISS

load_dotenv()

# build_index.py와 같은 모델이어야 질문 벡터가 저장된 벡터와 같은 좌표계에 놓입니다.
emb = OpenAIEmbeddings(model="text-embedding-3-small")

CURRENT_DIR = os.path.dirname(__file__)
PREPARE_DIR = os.path.join(CURRENT_DIR, "..", "07")

sys.path.insert(0, PREPARE_DIR)
from prepare import prepare_chuncks

DOC_PATH = "../../data/manual.pdf"
INDEX_PATH = "faiss_index"
EMBED_MODEL = "text-embedding-3-small"

# 이 줄은 조각을 다시 만들 뿐, 아래 검색에는 쓰이지 않습니다. 지워도 검색 결과는 같습니다.
chunks = prepare_chuncks(DOC_PATH)
# print(f"총 {len(chunks)}개의 청크를 준비했습니다.")

# 디스크의 인덱스를 읽습니다. 질문 검색 때 질문 문장을 embedding으로 바꿉니다.
# allow_dangerous_deserialization=True는 내가 직접 만든 인덱스를 열 때만 씁니다.
store = FAISS.load_local(INDEX_PATH, emb, allow_dangerous_deserialization=True)

print("인덱스를 로드했습니다.")

query = "환불 규정이 궁금해요"

# 저장된 조각은 다시 임베딩하지 않습니다. 질문 한 문장만 임베딩합니다.
found = store.similarity_search(query, k=3)

print(f"'{query}'에 대한 검색 결과:")
print(f"총 {len(found)}개의 결과를 찾았습니다.")
print()

# for i, doc in enumerate(found):
#     print(f"\n결과 {i + 1}:")
#     print(doc.page_content)
#     print(f"청크 ID: {doc.metadata['chunk_id']}")

print(f"검색 결과 : {len(found)}건")

# 번호를 1부터 붙여 가까운 순서대로 본문을 찍습니다.
for i, doc in enumerate(found, 1):
    print(f"\n[{i}]")
    print(doc.page_content)

import os
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings
from prepare import prepare_chunks

INDEX_PATH  = "faiss_index"
EMBED_MODEL = "text-embedding-3-small"
DOC_PATH    = "data/manual.pdf"

def get_store(rebuild: bool = False):
    # 인덱스가 있으면 불러오고, 없으면 새로 만든다
    emb = OpenAIEmbeddings(model=EMBED_MODEL)

    if os.path.exists(INDEX_PATH) and not rebuild:
        print("→ 저장된 인덱스를 불러옵니다 (비용 0)")
        return FAISS.load_local(
            INDEX_PATH, emb, allow_dangerous_deserialization=True)

    print("→ 인덱스를 새로 만듭니다 (임베딩 비용 발생)")
    chunks = prepare_chunks(DOC_PATH)
    store = FAISS.from_documents(chunks, emb)
    store.save_local(INDEX_PATH)
    print(f"✓ {INDEX_PATH}/ 에 저장 완료")
    return store

if __name__ == "__main__":
    store = get_store()

# ============================================================
# 10차시 | PPT: 10차시_벡터저장소이해.pptx
# 역할: FAISS 인덱스가 있으면 열고, 없을 때만 새로 만들어 메타 정보와 함께 저장
# 입력: ../../data/manual.pdf, 폴더 faiss_index
# 출력: 새로 저장하면 "저장 완료", 이어서 벡터 개수와 설정값
# 흐름:
#   get_store()
#     -> 인덱스 폴더가 있고 rebuild가 아니면 FAISS.load_local
#     -> 아니면 chunk -> embedding -> save_local + build_info.json
# ============================================================
# embedding: 문장을 숫자 목록으로 바꾸는 모델
# vector: 그 숫자 목록. FAISS가 개수(index.ntotal)를 가지고 있습니다.
# chunk: prepare_chuncks가 만든 문서 조각
# metadata: 여기 파일에서는 인덱스 빌드 정보를 JSON으로 따로 저장합니다.

# datetime 모듈 안의 datetime 클래스를 바로 가져옵니다.
from datetime import datetime
import json

from langchain_openai import OpenAIEmbeddings
from dotenv import load_dotenv
from langchain_community.vectorstores import FAISS

import os
import sys

# 7차시 prepare.py를 import 경로에 넣습니다.
CURRENT_DIR = os.path.dirname(__file__)
PREPARE_DIR = os.path.join(CURRENT_DIR, "..", "07")
sys.path.insert(0, PREPARE_DIR)
from prepare import prepare_chuncks

# .env의 OPENAI_API_KEY를 읽습니다.
load_dotenv()

# build_index.py, load_index.py와 같은 경로와 모델 이름입니다.
DOC_PATH = "../../data/manual.pdf"
INDEX_PATH = "faiss_index"
EMBED_MODEL = "text-embedding-3-small"

# 아래 두 값은 JSON에만 기록됩니다. 실제 자르기는 prepare.py의 200 / 50을 씁니다.
CHUNK_SIZE = 500
CHUNK_OVERLAP = 50

def save_with_meta(store, path, info):
    # 인덱스 파일 두 개(index.faiss, index.pkl)를 먼저 씁니다.
    store.save_local(path)

    # datetime는 클래스입니다. datetime.datetime은 없어, 이 줄은 AttributeError가 납니다.
    info["created_at"] = datetime.datetime.now().isoformat()

    # 같은 폴더에 설정 메모(build_info.json)를 남깁니다. ensure_ascii=False라야 한글이 그대로 저장됩니다.
    meta_path = os.path.join(path, "build_info.json")
    with open(meta_path, "w", encoding="utf-8") as file:
        json.dump(
            info,
            file,
            ensure_ascii=False,
            indent=2
        )

# rebuild=True로 부르면 폴더가 있어도 새로 만듭니다. 문서나 chunk_size를 바꿨을 때 씁니다.
def get_store(rebuild=False):
    emb = OpenAIEmbeddings(model="text-embedding-3-small")

    # 폴더가 있고 다시 만들라는 표시가 없으면 저장본을 엽니다.
    if os.path.exists(INDEX_PATH) and not rebuild:
        store = FAISS.load_local(
            INDEX_PATH,
            emb,
            allow_dangerous_deserialization=True
        )
        # 여기서 바로 돌아가므로 아래의 임베딩 비용이 들지 않습니다.
        return store

    # 여기부터는 폴더가 없거나 rebuild=True일 때만 실행됩니다.
    chunks = prepare_chuncks(DOC_PATH)

    # 조각마다 임베딩을 구해 새 인덱스를 만듭니다. 비용이 드는 곳입니다.
    store = FAISS.from_documents(
        chunks,
        emb
    )

    # 나중에 "이 인덱스는 어떤 설정이었지?"를 알 수 있게 적어 둘 내용입니다.
    build_info = {
        "source": DOC_PATH,
        "embed_model": EMBED_MODEL,
        "chunk_size": CHUNK_SIZE,
        "chunk_overlap": CHUNK_OVERLAP,
        "chunk_count": len(chunks),
    }

    # 인덱스와 설정 메모를 함께 저장합니다. 위에서 말한 datetime 오류는 여기서 터집니다.
    save_with_meta(store,INDEX_PATH,build_info)

    # save_with_meta 안에서 이미 저장하므로 아래 줄은 꺼 두었습니다.
    # store.save_local(INDEX_PATH)
    print("저장 완료")

    return store

if __name__ == "__main__":
    store = get_store()
    # index.ntotal은 FAISS 안에 들어 있는 벡터 수, 곧 조각 수입니다.
    print(f"총 {store.index.ntotal}개의 벡터를 저장했습니다.")
    print(f"인덱스 경로: {INDEX_PATH}")
    print(f"임베딩 모델: {EMBED_MODEL}")
    print(f"청크 크기: {CHUNK_SIZE}")
    print(f"청크 겹침: {CHUNK_OVERLAP}")
    print(f"총 청크 수: {store.index.ntotal}")