34차시. RAG 평가 개요
정리
- 키워드 채점은 우연히 맞은 답을 정답으로, 표현이 다른 답을 오답으로 셉니다. 어느 단계가 틀렸는지도 알 수 없습니다. (34차시 「1. 지금까지의 평가는 왜 부족한가」 › 1-1) 키워드 채점의 문제)
- 평가는 검색, 생성, 전체로 나눠 봅니다. 나눠 봐야 검색과 생성 중 어디를 고칠지 정할 수 있습니다. (34차시 「2. 평가는 두 층으로 나눕니다」)
- Precision은 가져온 것 중 관련 있는 비율, Recall은 관련 있는 것 중 가져온 비율입니다. RAG에서는 Recall이 더 중요합니다. (34차시 「3. 검색 평가 지표」)
- MRR은 정답이 n번째면 1/n점을 주어 순위를 반영하고, Hit Rate는 상위 k개 안에 정답이 있는지만 봅니다. (34차시 「4. 순위를 반영하는 지표」)
- Faithfulness는 답의 주장이 근거 안에 있는지, Answer Relevancy는 답이 질문에 맞는지를 봅니다. (34차시 「5. 답변 평가 지표」)
- 처음에는 Hit Rate, Faithfulness, Correctness 세 개만 재도 충분합니다. 목표는 100%가 아니라 달성 가능한 값으로 잡습니다. (34차시 「6. 지표 정리표」 › 6-1) 무엇부터 재야 할까)