1. 지금까지의 평가는 왜 부족한가

출처: 원본 PDF 34차시_RAG평가개요.pdf 3쪽 · 쪽 그림 3쪽

14차시부터 우리는 "정답률"로 성능을 측정했습니다. 그런데 이 방식에는 한계가 있습니다.

1-1) 키워드 채점의 문제

{"q": "환불은 며칠 이내인가요?", "keys": ["7일"]}
# 정답 키워드 중 하나라도 답변에 들어있으면 정답
ok = False
for k in t["keys"]:
    if k in answer:
        ok = True
        break
if ok:
    hit += 1

⚠️ 이 방식이 놓치는 것들
① 우연히 맞은 것도 정답 처리
"7일이 아니라 30일입니다" → "7일"이 있으니 정답 ✅
→ 완전히 틀렸는데 맞았다고 셉니다
② 표현이 다르면 오답 처리
"일주일 이내입니다" → "7일"이 없으니 오답 ❌
→ 맞는 답인데 틀렸다고 셉니다
③ 근거를 지어냈는지 모름
정답 키워드가 있어도 근거 밖 내용이 섞였을 수 있습니다
④ 어느 단계가 문제인지 모름
검색이 틀렸는지 생성이 틀렸는지 구분이 안 됩니다

1-2) 실무에서 받는 질문들

💼 이런 질문에 답할 수 있어야 합니다
"정확도가 95%라는데, 무슨 기준인가요?"
"검색이 잘 되는 건가요, 생성이 잘 되는 건가요?"
"환각이 없다는 걸 어떻게 확인했나요?"
"경쟁 제품보다 낫다는 근거가 뭔가요?"
"어느 부분을 개선하면 가장 효과가 클까요?"
"체감상 좋습니다"로는 아무것도 설명할 수 없습니다.
오늘 배우는 지표들이 그 답이 됩니다.