5. 왜 각 단계가 중요한가?

출처: 원본 PDF 03차시_RAG기본구조깊이있게이해하기.pdf 9~10쪽 · 쪽 그림 9쪽 10쪽

5-1) Ingestion이 중요한 이유

만약 이 단계가 제대로 되지 않으면 어떻게 될까요? 문서의 텍스트를 제대로 추출하지 못하면, 나머지 모든 단계가 틀린 데이터로 진행됩니다. "쓰레기가 들어가면 쓰레기가 나온다"는 말처럼, 첫 단계가 가장 중요합니다.

5-2) Chunking이 중요한 이유

Chunk size가 너무 작으면 의미가 단편적이고, 너무 크면 불필요한 정보까지 포함됩니다. 적절한 크기로 나누는 것이 검색 정확도를 크게 향상시킵니다. 14차시에서 Chunk size를 조정해서 결과를 비교할 예정입니다.

5-3) Embedding이 중요한 이유

출처: 원본 PDF 10쪽

Embedding은 텍스트의 "의미"를 숫자로 표현합니다. 같은 의미의 다른 표현들(예: "안녕", "안녕하세요", "인사")도 비슷한 벡터로 변환됩니다. 이것이 정확한 검색을 가능하게 하는 핵심입니다.

5-4) Similarity Search가 중요한 이유

출처: 원본 PDF 10쪽

이 단계에서 정말 필요한 정보를 찾아야 합니다. 만약 잘못된 chunk를 찾으면, 아무리 뛰어난 LLM도 잘못된 답변을 만들 수밖에 없습니다.