36차시. 평가 실습
10. 자주 겪는 문제
출처: 원본 PDF 36차시_평가실습.pdf 20쪽 · 쪽 그림 20쪽
| 증상 | 원인과 해결 |
|---|---|
| 평가 한 번에 비용이 많이 듦 | 검색 평가만 먼저 돌리세요. LLM 없이 방향을 잡을 수있습니다 |
| LLM 심판이 후하게 채점함 | 생성과 다른 모델(EVAL_MODEL)을 쓰세요. 자기 편향이 줄어듭니다 |
| 같은 답변인데 채점이 매번 다름 | 심판 LLM의 temperature가 0인지 확인하세요 |
| Faithfulness가 항상 1.0 | 심판 기준이 느슨합니다. 일부러 환각 답변을 넣어 검증하세요 |
| 부재 질문에서 Abstention이 낮음 | 임계값을 확인하세요. 24차시 MIN_SCORE 재측정이필요할 수 있습니다 |
| 평가 결과가 매번 달라짐 | 재검색 루프가 개입한 것입니다. 여러 번 돌려 평균을 내세요 |
10-1) 평가 비용 관리
💰 35문항 평가의 비용 구조
· 시스템 실행 35회 × 약 2회 LLM 호출 = 70회
· Correctness 심판 35회
· Faithfulness 심판 27회
합계 약 132회 호출
비용을 줄이는 방법
① 검색 평가는 매번, 답변 평가는 주 1회
② 심판 모델을 저가 모델로
③ 변경이 없는 질문은 이전 결과 재사용
④ 개발 중에는 10문항 소규모로 빠르게
그래도 전체 비용은 커피 한 잔 수준입니다.
아끼다가 측정을 안 하는 것이 더 큰 손해입니다.