3차시. RAG 기본 구조 깊이 있게 이해하기
정리
- RAG는 한 번만 하는 준비 단계와, 사용자가 질문할 때마다 반복하는 실행 단계로 나뉩니다. (3차시 「1. RAG 전체 파이프라인 이해하기」)
- 준비 단계는 Ingestion, Chunking, Embedding, Vector DB 저장 순서이고, 원본 텍스트와 벡터를 쌍으로 저장합니다. (3차시 「2. 준비 단계 상세 설명」)
- Chunk가 너무 작으면 정보가 단편적이 되고, 너무 크면 불필요한 정보까지 담깁니다. (3차시 「2. 준비 단계 상세 설명」 › 2-2) Chunking (텍스트 분할))
- 질문도 준비 때와 같은 Embedding 모델로 벡터로 바꾼 뒤, 거리가 가까운 조각을 상위 몇 개 고릅니다. (3차시 「3. 실행 단계 상세 설명」 › 3-2) Similarity Search (유사도 검색))
- 찾은 조각을 Context로 묶고, "정보에 없으면 모른다고 답하라"는 지시와 질문을 붙여 LLM에 넘깁니다. (3차시 「3. 실행 단계 상세 설명」 › 3-4) 프롬프트 조합)
- 키워드 검색은 같은 단어가 있어야 찾고, 벡터 검색은 표현이 달라도 뜻이 비슷하면 찾습니다. (3차시 「6. 일반 검색과의 차이점」)