실습 1 — RAG 평가 개요 실습 따라 하기

# ==============================================================
# 32차시. PPT 32차시_고도화ModularRAG. 코드 폴더는 src/32
# PPT: 32차시 경로 점검과 회귀 테스트
# 역할: graph32.ask로 기존 질문을 다시 물어 키워드, pass 수, 재생성 수, 재검색 수를 집계합니다.
# 읽는 키: answer, grade, retries, rewrites
# 쓰는 키: 화면의 질문별 표시와 마지막 집계
# 그래프:
#   각 질문 --> ask --> 키워드 포함 여부
#   문서에 없는 대표이사 질문은 안내 문장 키워드가 있으면 정답
# --------------------------------------------------------------
# 파이썬만 아는 분을 위한 말
# State는 노드들이 함께 쓰는 딕셔너리입니다. 함수는 state를 읽고, 바꿀 키만 return 합니다.
# return에 적지 않은 키는 이전 값이 남습니다.
# log와 tried_queries는 리스트라서, 새로 return한 항목이 뒤에 이어 붙습니다.
# Retriever: 검색 담당. 질문과 비슷한 문서 조각만 고릅니다. 답 문장은 만들지 않습니다.
# Generator: 고른 문서를 근거로 답 문장을 만듭니다. 문서가 없으면 안내 문장만 돌려줍니다.
# Verifier: 답이 근거와 맞는지 검사하고 grade를 적습니다.
#   grade=pass     답을 확정하고 그래프를 끝냅니다.
#   grade=retry    같은 문서로 답 문장만 다시 씁니다. retries가 1 늘어납니다.
#   grade=research 문서가 부족합니다. 검색어를 바꾼 뒤 다시 찾습니다. rewrites가 늘어납니다.
#   grade=giveup   더 진행하지 않고 fallback으로 안내 문장만 돌려줍니다.
# fallback: 실패했을 때 답을 지어내지 않고 안내 문장을 반환하는 노드입니다.
# intent: 질문 종류. greeting 인사, calc 계산, scope 문서 밖, document 문서 검색.
# rewrite: 사용자가 친 question은 유지하고, 검색에 쓰는 query만 바꿉니다.
# safe_node: 노드를 try로 감쌉니다. 오류가 나도 그래프는 멈추지 않고 node_error에 적습니다.
# check_answer는 keys 중 하나라도 답 문자열에 있으면 참입니다.
# 정답률, 검증통과 수, 재생성 건수, 재검색 건수는 실행 결과라 기록에 없는 값은 적지 않습니다.
# ==============================================================

# ============================================================
# test_regression.py
# graph32가 기존 질문에 여전히 올바르게 답하는지 검사합니다.
# 각 답변에 기대한 핵심 키워드가 포함되어 있는지 확인합니다.
# ============================================================

from graph32 import ask

# ============================================================
# 테스트 질문
# ============================================================
# q    : RAG에 입력할 질문
# keys : 정답으로 인정할 핵심 키워드

TESTS = [
    {
        "q": "환불은 며칠 이내인가요?",
        "keys": ["7일"],
    },
    {
        "q": "교환 기간은 얼마인가요?",
        "keys": ["14일"],
    },
    {
        "q": "고객센터 운영 시간은?",
        "keys": ["09:00", "18:00", "9시", "18시"],
    },
    {
        "q": "반품하고 싶은데 언제까지?",
        "keys": ["7일"],
    },
    {
        "q": "물건 바꾸려면 택배비 누가?",
        "keys": ["배송비", "택배비", "고객"],
    },
    {
        "q": "환불 방법과 수수료는?",
        "keys": ["환불", "수수료"],
    },
    {
        "q": "대표이사가 누구인가요?",
        "keys": [
            "관련 자료를 찾지 못했습니다",
            "확인할 수 없습니다",
            "정보가 없습니다",
        ],
    },
]

# ============================================================
# 답변 확인 함수
# ============================================================

def check_answer(answer, keys):
    """답변에 기대한 키워드가 하나라도 있는지 확인합니다."""

    # 키워드를 하나씩 확인
    for key in keys:

        # 답변에 키워드가 있으면 정답
        if key in answer:
            return True

    # 모든 키워드가 없으면 오답
    return False

# ============================================================
# 통계 변수 초기화
# ============================================================

# 정답 개수
correct = 0

# Verifier를 통과한 질문 개수
pass_count = 0

# 답변을 재생성한 질문 개수
retry_count = 0

# 질문을 고쳐 재검색한 질문 개수
rewrite_count = 0

# ============================================================
# 회귀 테스트 실행
# ============================================================

for test in TESTS:

    # 테스트 질문과 정답 키워드 가져오기
    question = test["q"]
    keys = test["keys"]

    # --------------------------------------------------------
    # 1. Modular RAG 실행
    # --------------------------------------------------------

    result = ask(question)

    # --------------------------------------------------------
    # 2. 최종 답변 가져오기
    # --------------------------------------------------------

    answer = result.get("answer", "")

    # --------------------------------------------------------
    # 3. 답변이 맞는지 확인
    # --------------------------------------------------------

    ok = check_answer(
        answer,
        keys
    )

    if ok:

        correct += 1
        mark = "✓"

    else:

        mark = "✗"

    # --------------------------------------------------------
    # 4. Verifier 통과 여부 확인
    # --------------------------------------------------------

    grade = result.get("grade", "")

    if grade == "pass":
        pass_count += 1

    # --------------------------------------------------------
    # 5. 재생성 여부 확인
    # --------------------------------------------------------

    retries = result.get("retries", 0)

    if retries > 0:
        retry_count += 1

    # --------------------------------------------------------
    # 6. 재검색 여부 확인
    # --------------------------------------------------------

    rewrites = result.get("rewrites", 0)

    if rewrites > 0:
        rewrite_count += 1

    # --------------------------------------------------------
    # 7. 질문별 결과 출력
    # --------------------------------------------------------

    print(
        f"{mark} {question} | "
        f"판정={grade} | "
        f"재생성={retries} | "
        f"재검색={rewrites}"
    )

# ============================================================
# 전체 테스트 결과
# ============================================================

# 전체 질문 개수
count = len(TESTS)

print()
print("=" * 50)

# 정답률 계산
accuracy = correct / count * 100

print(
    f"정답률   : "
    f"{correct}/{count} "
    f"({accuracy:.0f}%)"
)

print(
    f"검증통과 : "
    f"{pass_count}/{count}"
)

print(
    f"재생성   : "
    f"{retry_count}건"
)

print(
    f"재검색   : "
    f"{rewrite_count}건"
)

print("=" * 50)