3. 검색 평가 결과 읽기

출처: 원본 PDF 36차시_평가실습.pdf 6쪽 · 쪽 그림 6쪽

실행 결과 예시
─────────────────────────────────────────────
─────────
■ 검색 평가 (n=27, k=5)
   Hit Rate@5 :  88.9%
   MRR        : 0.742
   1위 정답    : 16건
   미검출      : 3건

■ 검색 실패 질문
   Q014 [hard]   찾음[4, 5] 정답[7] 점수0.52 (ok)
   Q022 [medium] 찾음[]     정답[6] 점수0.38 (empty)
   Q031 [hard]   찾음[4]    정답[5, 9] 점수0.61 (ok)

📊 세 실패의 성격이 다릅니다
Q014 — 점수는 높은데(0.52) 엉뚱한 페이지
→ 다른 조각이 더 비슷하게 보인 경우
→ 처방: Re-ranking (33차시) 또는 분할 조정
Q022 — 아예 검색이 안 됨(0.38, empty)
→ 표현 차이가 큰 경우
→ 처방: 질의 재작성이 작동하는지 확인 (30차시)
Q031 — 정답 근거가 2개인데 1개만 찾음
→ 복합 질문의 전형적 실패
→ 처방: k 상향 또는 MMR (11차시)
같은 "검색 실패"도 처방이 다릅니다.

3-1) MRR 0.742의 의미

MRR이 0.742면 평균적으로 정답이 1~2위에 있다는 뜻입니다.
1위만 → MRR 1.0
2위만 → MRR 0.5
0.742 → 대부분 1위, 일부 2~3위
좋은 수치입니다. 정답이 앞쪽에 잘 배치되고 있습니다.
만약 Hit Rate는 90%인데 MRR이 0.4라면?
→ 찾긴 하는데 3~4위로 밀려서 나온다는 뜻
→ LLM이 앞쪽 노이즈에 휘둘릴 위험이 큽니다
→ Re-ranking이 필요한 신호입니다