39차시. 미니프로젝트 ② 구현과 개선
정리
- 문서마다 점수 분포가 달라서, 새 문서에서는 MIN_SCORE 를 관련·무관 질문으로 다시 잽니다. (39차시 「1. [0~15분] 설정 재측정」 › 1-2) 임계값 재측정 (7분))
- 평가셋 30문항은 메모·목차·부재 질문 순서로 빠르게 채우고, gold_pages 는 시스템이 찾은 페이지를 확인하는 식으로 라벨링합니다. 부재 질문은 직접 검증합니다. (39차시 「2. [15~35분] 평가셋 구축」 › 2-2) 목표 구성 (30문항))
- 30문항은 Dev 21, Holdout 9 로 나누고, 오늘 개선은 Dev 로만 합니다. (39차시 「2. [15~35분] 평가셋 구축」 › 2-3) Dev/Holdout 분리)
- 검색 평가를 먼저 돌려 Hit Rate 와 Correctness 를 견주면 병목이 검색인지 생성인지 보입니다. (39차시 「7. 자주 막히는 지점」)
- 10분 안에는 인덱스를 다시 만들 필요가 없는 개선(MMR, k 상향)을 고르고, chunk 재조정은 하지 않습니다. (39차시 「4. [50~60분] 개선 적용」 › 4-1) 개선 후보와 예상 효과)
- 개선 전후는 얻은 것, 잃은 것, 남은 문제로 나눠 읽고, 루브릭 가중치로 트레이드오프를 판단합니다. 효과 없는 개선은 되돌리고 기록합니다. (39차시 「5. 개선 전후 비교표」 › 5-1) 트레이드오프를 어떻게 볼 것인가)