용어 짚고 가기

이 차시의 원본 PDF 에는 따로 용어 표가 없습니다. 아래는 이 차시 글에서 뽑은 말입니다.

• MIN_SCORE검색 점수가 이 값보다 낮은 조각은 버리는 경계입니다. 문서가 바뀌면 다시 잽니다.
• WEAK_MARGINMIN_SCORE 바로 위의 애매한 구간 폭입니다. 이 구간에 든 결과는 weak 로 보고 재검색을 고려합니다.
• Hit Rate@k정답 페이지가 검색 결과 상위 k 개 안에 들어온 질문의 비율입니다.
• MRR정답이 처음 나온 순위의 역수를 평균한 값입니다. 정답이 위에 있을수록 1에 가깝습니다.
• Dev Set과 Holdout SetDev 는 보고 고치는 데 쓰는 문항, Holdout 은 마지막까지 열지 않고 최종 성능을 재는 문항입니다.
• MMR비슷한 조각만 몰리지 않게 관련성과 다양성을 함께 보고 고르는 검색 방식입니다.
• 트레이드오프한 지표를 올리면 다른 지표가 내려가는 관계입니다. 루브릭 가중치로 받아들일지 정합니다.
• 장애 주입 테스트잘못된 키, 빈 질문 같은 문제를 일부러 넣어 프로그램이 멈추지 않는지 보는 시험입니다.