5. 실습 ② — 프롬프트 A/B 비교

from langchain_openai import ChatOpenAI
from langchain_core.output_parsers import StrOutputParser
from retriever import search, build_context
from prompts import PROMPTS
from dotenv import load_dotenv
load_dotenv()

llm = ChatOpenAI(model="gpt-4o-mini", temperature=0)

def compare(question):
    docs = search(question)            # 검색은 한 번만!
    ctx  = build_context(docs)

    print("=" * 60)
    print("Q:", question)
    print(f"근거 {len(docs)}개")
    print("-" * 60)

    for name, tmpl in PROMPTS.items():
        chain = tmpl | llm | StrOutputParser()
        ans = chain.invoke({"context": ctx, "question": question})
        print(f"\n[{name}]")
        print(ans)
    print("=" * 60)

compare("환불 신청 방법과 수수료를 알려주세요")

# ============================================================
# 13차시 | PPT: 13차시_프롬프트최적화.pptx
# 역할: 같은 검색 자료로 v1, v2, v3 prompt의 답을 나란히 출력
# 입력: 질문 "환불 신청 방법과 수수료를 알려주세요"
# 출력: 질문, 근거 개수, 버전별 답변
# 흐름:
#   search(질문) -> chunk 목록 -> build_context
#     -> PROMPTS의 각 prompt | llm -> print
# ============================================================
# prompt: 모델에게 주는 지시문 틀. v1은 규칙이 적고 v2·v3는 근거 번호(citation)를 요구합니다.
# citation: 답변 문장 끝의 [1] 같은 근거 번호
# retriever: search()가 쓰는 검색. 질문과 가까운 chunk만 남깁니다.
# chunk: 문서 조각. context는 그 조각들을 이어 붙인 자료 문자열입니다.

import os
import sys

from dotenv import load_dotenv
from langchain_openai import ChatOpenAI
from langchain_core.output_parsers import StrOutputParser

# 11차시 폴더를 모듈 검색 경로에 넣어 retriever.py의 search와 build_context를 불러옵니다.
CURRENT_DIR = os.path.dirname(__file__)
RETRIEVER_DIR = os.path.join(CURRENT_DIR, "..", "11")

sys.path.append(RETRIEVER_DIR)

from retriever import search, build_context
# prompts.py는 같은 13차시 폴더에 있어 경로를 더하지 않아도 찾습니다.
from prompts import PROMPTS

# .env의 API 키를 읽습니다.
load_dotenv()

# temperature=0으로 두어야 버전 사이의 차이를 프롬프트 탓이라고 말할 수 있습니다.
llm = ChatOpenAI(
    model="gpt-4o-mini",
    temperature=0
)

def compare(question):
    # search는 점수 기준을 통과한 조각만 돌려줍니다. 네트워크 검색입니다.
    documents = search(question)
    # 조각에 [1], [2] 번호와 출처를 붙인 자료 문자열입니다.
    context = build_context(documents)

    # 질문과 근거 개수를 먼저 보여 줍니다. 근거가 0개면 세 버전 모두 빈 자료로 답하게 됩니다.
    print("=" * 60)
    print("Q:", question)
    print("근거:", len(documents), "개")
    print("-" * 60)

    # 검색은 위에서 한 번만 했습니다. 여기서는 프롬프트만 바꿔 같은 자료로 답을 받습니다.
    for name, prompt in PROMPTS.items():
        # prompt 틀, 채팅 모델, 문자열 변환기를 한 줄로 잇습니다.
        chain = prompt | llm | StrOutputParser()
        # 딕셔너리의 키 이름이 틀 안의 {context}, {question} 칸 이름과 같아야 합니다.
        answer = chain.invoke({
            "context": context,
            "question": question
        })
        
        print()
        print(f"[{name}]")
        print(answer)
    

# 직접 실행할 때만 비교를 돌립니다.
if __name__ == "__main__":
    compare("환불 신청 방법과 수수료를 알려주세요")

# ============================================================
# 13차시 | PPT: 13차시_프롬프트최적화.pptx
# 역할: v1~v3 답에 근거 번호(citation)가 올바른지 검사
# 입력: 환불·배송 관련 질문 3개
# 출력: 버전별 답과 인용 검증 표시
# 흐름:
#   search -> build_context -> prompt별 답
#     -> check_citation(답, 문서 개수) -> ✓ 또는 ✗
# ============================================================
# citation: 답변 안의 [1], [2] 같은 근거 번호
# prompt: PROMPTS의 v1, v2, v3 지시문 틀
# chunk: search가 돌려준 문서 조각. 번호는 1부터 조각 개수까지가 유효합니다.

import os
import re
import sys

from dotenv import load_dotenv
from langchain_openai import ChatOpenAI
from langchain_core.output_parsers import StrOutputParser

# 11차시 폴더를 모듈 검색 경로에 넣어 search와 build_context를 불러옵니다.
CURRENT_DIR = os.path.dirname(__file__)
RETRIEVER_DIR = os.path.join(CURRENT_DIR, "..", "11")

sys.path.append(RETRIEVER_DIR)

from retriever import search, build_context
from prompts import PROMPTS

# .env의 API 키를 읽고, 아래에서 답을 만들 모델을 준비합니다.
load_dotenv()

llm = ChatOpenAI(
    model="gpt-4o-mini",
    temperature=0
)

# 답 문자열과 근거 조각 개수를 받아 (통과 여부, 설명) 두 값을 돌려줍니다.
def check_citation(answer, document_count):

    # 답변에서 [숫자] 형태의 인용 번호를 모두 찾습니다.
    # re.findall은 괄호로 묶은 숫자 부분만 문자열 목록으로 돌려줍니다. 예: '[1] [3]' -> ['1', '3']
    found_numbers = re.findall(r"\[(\d+)\]", answer)

    # 인용 번호가 하나도 없으면 실패입니다.
    if not found_numbers:
        return False, "인용 번호가 전혀 없음"

    # 찾은 문자열 번호를 정수로 바꿉니다.
    citation_numbers = []

    for number in found_numbers:
        citation_numbers.append(int(number))

    # 존재하지 않는 인용 번호가 있는지 검사합니다.
    invalid_numbers = []

    for number in citation_numbers:

        # 인용 번호는 1부터 검색 문서 개수까지만 가능합니다.
        if number < 1 or number > document_count:
            invalid_numbers.append(number)

    # 잘못된 인용 번호가 있으면 실패입니다.
    if invalid_numbers:
        return False, f"존재하지 않는 근거 번호: {invalid_numbers}"

    # 모든 인용 번호가 정상입니다.
    return True, f"인용 {len(citation_numbers)}건 정상"

# compare_prompt.py의 compare에 인용 검사 한 단계를 더한 함수입니다.
def compare(question):

    # 검색은 한 번만 하고 세 버전이 같은 자료를 씁니다.
    documents = search(question)
    context = build_context(documents)

    print("=" * 60)
    print("Q:", question)
    print("근거:", len(documents), "개")
    print("-" * 60)

    # 버전마다 답을 받고 바로 인용 번호를 검사합니다.
    for name, prompt in PROMPTS.items():
        chain = prompt | llm | StrOutputParser()
        answer = chain.invoke({
            "context": context,
            "question": question
        })
        
        print()
        print(f"[{name}]")
        print(answer)

        # 근거 개수(len(documents))보다 큰 번호가 있으면 없는 근거를 인용한 것입니다.
        citation_ok, citation_message = check_citation(
            answer,
            len(documents)
        )

        # 번호가 모두 유효하면 체크, 아니면 엑스입니다.
        if citation_ok:
            mark = "✓"
        else:
            mark = "✗"

        print("🔍 인용 검증:", mark, citation_message)

if __name__ == "__main__":
     
    # 자료에 있는 질문과 일부만 자료에 있는 질문을 섞었습니다.
    test_questions = [
        "환불 신청 방법과 수수료를 알려주세요",
        "환불은 언제까지 가능한가요?",
        "배송 비용은 얼마인가요?"
    ]

    # 질문마다 세 버전의 답과 인용 검증 결과를 출력합니다.
    for question in test_questions:
        compare(question)
        print()