3차시. RAG 기본 구조 깊이 있게 이해하기
먼저 큰 그림부터
피자 한 판을 한입에 넣을 수는 없습니다. 한 입 크기로 잘라야 먹을 수 있습니다. RAG도 100쪽짜리 제품 매뉴얼을 통째로 AI에게 넘기지 못하므로, 작은 조각(chunk)으로 잘라 둡니다. 자른 조각은 뜻을 담은 숫자(벡터)로 바꿔 저장해 두었다가, 질문이 오면 그 질문과 가장 가까운 조각만 꺼내 씁니다. 그래서 RAG는 미리 잘라 두는 준비 단계와, 질문마다 꺼내 쓰는 실행 단계로 나뉩니다.
챙겨 가실 것은 세 가지입니다. 준비 단계는 한 번만, 실행 단계는 질문마다 한다는 점, 조각이 너무 작거나 너무 크면 검색이 나빠진다는 점, 벡터 검색은 단어가 달라도 뜻이 가까우면 찾는다는 점입니다. 4차시에서는 이 단계들을 코드로 옮기기 위해 파이썬과 가상환경부터 준비합니다.