8. 실습 ④ — 실패율 측정하기

TESTS = [
    {"q": "환불은 며칠 이내인가요?",     "keys": ["7일", "일주일"]},
    {"q": "교환은 며칠 이내인가요?",     "keys": ["30일"]},
    {"q": "고객센터 운영 시간은?",       "keys": ["09:00", "18:00", "평일"]},
    {"q": "대표이사 이름은?",            "keys": ["확인할 수 없"]},
    # ... 12차시 실패 사례를 포함해 20개까지 채우세요
]
def score():
    hit = 0
    fails = []
    for t in TESTS:
        pairs = store.similarity_search_with_relevance_scores(
            t["q"], k=3)
        docs = []
        for d, s in pairs:
            if s >= MIN_SCORE:
                docs.append(d)
        if not docs:
            ans = "자료에서 확인할 수 없습니다"
        else:
            prompt = ("아래 자료만 근거로 답하세요.\n"
                      "자료에 없으면 '자료에서 확인할 수 없습니다'.\n\n"
                      f"[자료]\n{build_context(docs)}\n\n[질문] {t['q']}")
            ans = llm.invoke(prompt).content
        # 정답 키워드 중 하나라도 답변에 들어있으면 정답
        ok = False
        for key in t["keys"]:
            if key in ans:
                ok = True
                break
        if ok:
            hit += 1
        else:
            fails.append((t["q"], ans[:60]))
    print(f"\n정답률: {hit}/{len(TESTS)} = {hit/len(TESTS)*100:.0f}%")
    print("\n■ 실패한 질문")
    for q, a in fails:
        print(f"  · {q}\n    → {a}...")
score()