먼저 큰 그림부터

수업 자료는 검색 지표를 낚시에 빗댑니다. 연못에 참돔이 10마리 있고, 그물로 물고기 5마리를 건졌는데 그중 참돔이 4마리였습니다. 건진 것 중 원하는 것의 비율이 Precision이고 4/5입니다. 연못에 있는 것 중 건진 비율이 Recall이고 4/10입니다. 같은 그물질인데 어느 쪽에서 보느냐에 따라 숫자가 전혀 다르게 나옵니다.

오늘 챙겨 가실 것은 세 가지입니다. 첫째, 평가를 검색, 생성, 전체로 나눠야 무엇을 고칠지 보인다는 점입니다. 둘째, Hit Rate, MRR, Faithfulness 같은 지표가 각각 무엇을 묻는지입니다. 셋째, 지표 하나만 올리면 다른 곳이 무너지므로 여러 지표를 함께 봐야 한다는 점입니다. 다음 35차시에서는 이 지표로 잴 대상인 평가 데이터셋을 만듭니다.