11차시. Retriever 기초 실습

3. Top-K를 몇으로 할까?

출처: 원본 PDF 11차시_Retriever기초실습.pdf 7쪽 · 쪽 그림 7쪽

가장 자주 조정하는 값입니다. 크게 잡으면 좋을 것 같지만 그렇지 않습니다.

k값	장점	단점
1	노이즈 없음 · 비용 최소	그 하나가 틀리면 답도 틀림
3	정확도와 비용의 균형 (권장 출발점)	여러 조항에 걸친 질문엔 부족
5	누락 위험이 줄어듦	관련 없는 조각이 섞이기 시작
10 이상	웬만하면 정답이 포함됨	노이즈·비용 급증, 답이 흐려짐

3-1) k를 키우면 왜 나빠지나

📚 참고 자료가 너무 많을 때
시험 공부를 하는데 참고서를 줍니다.
3권을 주면
→ 핵심만 골라 읽고 답을 씁니다
30권을 주면
→ 관련 없는 내용까지 눈에 들어옵니다
→ 무엇이 중요한지 판단이 흐려집니다
→ 엉뚱한 내용을 섞어 답을 씁니다
LLM도 똑같습니다.
근거가 많다고 답이 좋아지지 않습니다.
오히려 노이즈에 휩쓸립니다.

⚠️ k를 늘리기 전에 확인할 것
"답을 못 찾으니 k를 5로 올려볼까?"
그 전에 물어보세요.
"1~3위 안에 정답이 있는가?"
· 있는데 답이 틀렸다 → k 문제가 아니라 프롬프트 문제
· 5~10위에 있다 → k를 늘리면 해결
· 아예 없다 → 분할이나 임베딩 문제
원인을 모르고 k만 올리면 노이즈만 늘어납니다.