이번 차시에서 배우는 것

출처: 원본 PDF 35차시_평가데이터셋구축.pdf 1쪽 · 쪽 그림 1쪽

평가 데이터셋 구축 — 잴 대상을 만들기

✓ 좋은 평가 질문이 갖춰야 할 조건을 안다
✓ 12차시 실패 사례를 정식 데이터셋으로 승격시킨다 ✓ 정답과 근거 페이지를 라벨링한다
✓ 난이도와 유형의 균형을 맞춘다
✓ 50문항 Golden Set을 완성한다
✓ 데이터셋을 관리하고 확장하는 방법을 익힌다

교안 해설: 이 시간에 하는 일

출처: 교안 보충_테스트셋.md

테스트셋은 질문, 기대 유형, 기대 키워드, 문서에 있는지 여부입니다. 비율 예시는 정상 8, 표현을 바꾼 질문 6, 없는 내용 3, 두 조항을 잇는 질문 3입니다. 내가 문서 문장을 그대로 베끼면 검색이 쉽게 보여 점수가 부풀려집니다.

경로 커버리지는 점수와 별개입니다. greeting, calc, scope, 검색 성공, 재생성, 재작성, fallback이 각각 한 번은 타야 합니다. 한 번도 안 탄 노드는 테스트가 빠졌거나 도달할 수 없는 코드입니다. test_coverage.py가 그 점검입니다. 샘플은 API 예시입니다.

세트는 코드와 다른 표로 남겨, 프롬프트를 바꿀 때 질문을 같이 바꾸지 않게 합니다.