실습 1 — 평가 데이터셋 구축 실습 따라 하기

# ==============================================================
# 32차시. PPT 32차시_고도화ModularRAG. 코드 폴더는 src/32
# PPT: 32차시 경로 점검과 회귀 테스트
# 역할: graph32.stream으로 여러 질문을 돌려 노드 방문 횟수를 세고, 한 번도 안 간 노드가 있는지 봅니다.
# 읽는 키: question
# 쓰는 키: visited 딕셔너리와 화면의 경로 문자열
# 그래프:
#   질문마다 stream
#     step의 노드 이름을 visited에 누적
#     마지막에 ALL_NODES와 비교
# --------------------------------------------------------------
# 파이썬만 아는 분을 위한 말
# State는 노드들이 함께 쓰는 딕셔너리입니다. 함수는 state를 읽고, 바꿀 키만 return 합니다.
# return에 적지 않은 키는 이전 값이 남습니다.
# log와 tried_queries는 리스트라서, 새로 return한 항목이 뒤에 이어 붙습니다.
# Retriever: 검색 담당. 질문과 비슷한 문서 조각만 고릅니다. 답 문장은 만들지 않습니다.
# Generator: 고른 문서를 근거로 답 문장을 만듭니다. 문서가 없으면 안내 문장만 돌려줍니다.
# Verifier: 답이 근거와 맞는지 검사하고 grade를 적습니다.
#   grade=pass     답을 확정하고 그래프를 끝냅니다.
#   grade=retry    같은 문서로 답 문장만 다시 씁니다. retries가 1 늘어납니다.
#   grade=research 문서가 부족합니다. 검색어를 바꾼 뒤 다시 찾습니다. rewrites가 늘어납니다.
#   grade=giveup   더 진행하지 않고 fallback으로 안내 문장만 돌려줍니다.
# fallback: 실패했을 때 답을 지어내지 않고 안내 문장을 반환하는 노드입니다.
# intent: 질문 종류. greeting 인사, calc 계산, scope 문서 밖, document 문서 검색.
# rewrite: 사용자가 친 question은 유지하고, 검색에 쓰는 query만 바꿉니다.
# safe_node: 노드를 try로 감쌉니다. 오류가 나도 그래프는 멈추지 않고 node_error에 적습니다.
# ALL_NODES: classify, greeting, calc, scope, retrieve, generate, verify, bump, rewrite, fallback.
# 한 질문의 경로는 ' -> '.join(nodes)로 출력됩니다.
# 방문 횟수는 실행해야 나오므로 숫자를 만들지 않습니다.
# ==============================================================

# ============================================================
# test_coverage.py
# graph32의 여러 실행 경로를 테스트합니다.
# 모든 노드가 최소 한 번 이상 실행되는지 확인합니다.
# ============================================================

from graph32 import app
from graph_state2 import make_initial_state

# ============================================================
# 테스트 질문
# ============================================================
# 각 질문은 서로 다른 경로를 실행하기 위해 준비합니다.

CASES = [
    ("안녕하세요", "greeting 경로"),
    ("120 * 3 + 45", "calc 경로"),
    ("오늘 날씨 어때요?", "scope 경로"),
    ("환불은 며칠 이내인가요?", "정상 RAG 경로"),
    ("반품하고 싶은데 언제까지?", "재검색 경로"),
    ("환불 방법과 수수료는?", "재생성 경로"),
    ("대표이사가 누구인가요?", "fallback 경로"),
]

# ============================================================
# 전체 노드 목록
# ============================================================

ALL_NODES = [
    "classify",
    "greeting",
    "calc",
    "scope",
    "retrieve",
    "generate",
    "verify",
    "bump",
    "rewrite",
    "fallback",
]

# ============================================================
# 노드별 방문 횟수 초기화
# ============================================================

visited = {}

for node_name in ALL_NODES:
    visited[node_name] = 0

# ============================================================
# 테스트 실행
# ============================================================

for question, description in CASES:

    # 질문으로 초기 State 생성
    state = make_initial_state(question)

    # 이번 질문에서 방문한 노드를 저장
    nodes = []

    # --------------------------------------------------------
    # 그래프를 한 단계씩 실행
    # --------------------------------------------------------

    for step in app.stream(
        state,
        {"recursion_limit": 40}
    ):

        # 현재 단계에서 실행된 노드 확인
        for node_name in step.keys():

            # 실행된 노드 이름 저장
            nodes.append(node_name)

            # 해당 노드의 방문 횟수 증가
            visited[node_name] += 1

    # --------------------------------------------------------
    # 질문별 실행 경로 출력
    # --------------------------------------------------------

    print()
    print(f"[{description}]")
    print(f"질문: {question}")
    print(f"경로: {' -> '.join(nodes)}")

# ============================================================
# 노드별 방문 횟수 출력
# ============================================================

print()
print("=" * 50)
print("노드별 방문 횟수")
print("=" * 50)

for node_name in ALL_NODES:

    # 해당 노드의 방문 횟수
    count = visited[node_name]

    # 한 번 이상 실행되었는지 확인
    if count > 0:
        mark = "✓"

    else:
        mark = "✗ 미방문"

    print(
        f"{node_name:<10} "
        f"{count:>3}회  "
        f"{mark}"
    )

# ============================================================
# 미방문 노드 확인
# ============================================================

missing = []

for node_name in ALL_NODES:

    # 한 번도 실행되지 않은 노드 저장
    if visited[node_name] == 0:
        missing.append(node_name)

# ============================================================
# 최종 결과 출력
# ============================================================

print("=" * 50)

if len(missing) == 0:

    print(
        "✓ 모든 노드를 최소 1회 이상 방문했습니다."
    )

else:

    print(
        "✗ 미방문 노드:",
        ", ".join(missing)
    )