먼저 큰 그림부터

오늘은 진단하는 날입니다. 35차시에 만든 Dev Set으로 내 시스템을 처음 숫자로 잽니다. 수업 자료는 같은 "검색 실패"라도 원인이 다르면 처방이 다르다고 말합니다. 그래서 전체 점수 하나로 끝내지 않고, 검색과 답변을 따로 재고, 유형별·난이도별로 쪼개 어디가 아픈지 진단합니다. 마지막에는 진단을 표로 정리한 리포트와 개선 우선순위를 손에 쥡니다.

오늘 챙겨 갈 것은 세 가지입니다. 첫째, 비용 0인 검색 평가(Hit Rate, MRR)부터 돌리는 순서. 둘째, 쪼개 보되 표본이 5건도 안 되는 그룹의 비율은 해석하지 않는 태도. 셋째, 어느 설정도 모든 지표를 만족시키지 못한다는 트레이드오프입니다. 무엇을 더 중요하게 볼지는 37차시 루브릭에서 정합니다.