39차시. 미니프로젝트 ② 구현과 개선
확인문제와 해답
객관식
Q14-1절 개선 후보 가운데 수업 자료가 "오늘은 하지 마세요"라고 한 것은 무엇일까요?
해설 chunk 를 바꾸면 재인덱싱, 임계값 재측정, 재평가가 모두 다시 필요해 10분으로는 불가능합니다. 시간이 없을 때는 인덱스를 안 건드리는 개선을 고릅니다. (39차시 「4. [50~60분] 개선 적용」 › 4-1) 개선 후보와 예상 효과)
Q2Hit Rate 는 높은데 Correctness 가 낮다면 어디를 먼저 봐야 할까요?
해설 정답 조각은 찾아왔는데 답이 틀렸으니 생성 단계 문제입니다. 두 값이 비슷하게 낮을 때가 검색 병목입니다. (39차시 「7. 자주 막히는 지점」)
Q3MMR 과 k=7 을 적용한 뒤 Faithfulness 가 0.941 에서 0.928 로 떨어진 까닭으로 수업 자료가 든 것은 무엇일까요?
해설 조각을 더 많이 넣으면 관련 없는 내용도 섞여 근거성이 조금 내려갑니다. 36차시 ablation 에서 예측한 그대로라고 했습니다. (39차시 「5. 개선 전후 비교표」)
단답형
- 평가셋 30문항을 Dev 21문항과 Holdout 9문항으로 나누는 비율은 무엇일까요?
정답 보기
70:30
해설 Dev 로 고치고, Holdout 은 40차시 최종 평가까지 열지 않습니다. (39차시 「2. [15~35분] 평가셋 구축」 › 2-3) Dev/Holdout 분리)
- 개선을 적용했는데 점수가 떨어졌을 때, 즉시 config 를 되돌린 다음 해야 할 일은 무엇일까요?
정답 보기
기록에 남긴다
해설 실패한 실험도 이유와 함께 적으면 발표할 가치가 있습니다. (39차시 「7. 자주 막히는 지점」 › 7-1) 개선이 효과가 없을 때)
정답
정답 전체 보기
객관식: 1-B, 2-D, 3-A
단답형: 1. 70:30. 2. 기록에 남긴다.