36차시. 평가 실습
확인문제와 해답
객관식
Q1Hit Rate@5 는 90%인데 MRR 이 0.4 로 나왔습니다. 이 결과가 뜻하는 것은 무엇일까요?
해설 Hit Rate가 높으면 상위 k개 안에는 들어 있다는 뜻이고, MRR이 낮으면 그 순위가 뒤쪽이라는 뜻입니다. 앞쪽 노이즈에 LLM이 휘둘릴 위험이 큽니다. (36차시 「3. 검색 평가 결과 읽기」 › 3-1) MRR 0.742의 의미)
Q2답변을 채점하는 심판 LLM 으로 생성에 쓴 모델과 다른 모델(EVAL_MODEL)을 쓰는 까닭은 무엇일까요?
해설 같은 모델이 채점하면 자기 답을 후하게 보기 쉽습니다. 다른 모델을 temperature 0으로 두면 편향과 들쭉날쭉한 채점이 함께 줄어듭니다. (36차시 「10. 자주 겪는 문제」)
Q3트레이드오프 실험에서 "검증 제거" 설정의 결과로 알맞은 것은 무엇일까요?
해설 검증을 빼면 응답은 3.4초에서 1.9초로 빨라지지만, 부재 질문에 지어낸 답이 다시 나옵니다. 26차시 Verifier가 하던 일이 숫자로 드러난 셈입니다. (36차시 「8. 실습 ⑤ — 트레이드오프 확인」)
단답형
- LLM 을 부르지 않아 몇 번이든 돌릴 수 있는 평가는 검색 평가와 답변 평가 중 무엇일까요?
정답 보기
검색 평가
해설 검색 평가는 정답 페이지와 검색된 페이지만 견주므로 비용이 0입니다. 그래서 매번 돌리고, 답변 평가는 가끔 돌립니다. (36차시 「2. 실습 ① — 검색 평가」)
- 정답 근거가 3위에 나온 질문의 역순위(rr, 1/순위)는 얼마일까요? 소수 둘째 자리까지 적으세요.
정답 보기
0.33
해설 rr 은
1.0 / rank로 계산합니다. 1위면 1.0, 2위면 0.5, 3위면 0.33이고, 못 찾으면 0입니다. (36차시 「2. 실습 ① — 검색 평가」)
정답
정답 전체 보기
객관식: 1-C, 2-A, 3-D
단답형: 1. 검색 평가. 2. 0.33.