1. 왜 문서 로딩부터 배울까?

출처: 원본 PDF 06차시_문서로딩실습.pdf 3~4쪽 · 쪽 그림 3쪽 4쪽

3차시에서 배운 RAG 5단계를 기억하시나요? 수집 → 분할 → 임베딩 → 검색 → 생성이었습니다. 오늘 배우는 것은 그 첫 번째, 수집(Ingestion)입니다.
그런데 왜 하필 첫 단계에 시간을 쓸까요? 다음 상황을 생각해봅시다.

🍳 요리에 비유하면
아무리 훌륭한 셰프여도
썩은 재료로는 좋은 요리를 만들 수 없습니다.
RAG도 똑같습니다.
아무리 좋은 GPT를 써도,
읽어들인 텍스트가 깨져 있으면
좋은 답변이 나올 수 없습니다.
RAG의 품질은 문서 로딩 품질을 절대 넘지 못합니다.

1-1) 로딩을 대충 하면 벌어지는 일

⚠️ 실제로 자주 겪는 문제들
① 한글이 전부 깨짐
"제품 가격은 100,000원입니다" → "?????? ??? 100,000?????"
→ 인코딩을 지정하지 않아서 생깁니다
② 표가 뒤죽박죽 섞임
가격표의 숫자와 항목이 뒤엉켜서
"제품A 제품B 10000 20000" 처럼 나옵니다
→ 어느 숫자가 어느 제품 가격인지 알 수 없습니다
③ 스캔 PDF는 아예 빈 텍스트
종이를 스캔해서 만든 PDF는
겉보기엔 글자지만 사실은 사진입니다
→ 읽어도 아무 글자가 안 나옵니다
④ 머리말·쪽번호가 본문에 섞임
매 페이지마다 "㈜한국주식회사 대외비 - 3 -"
같은 문구가 반복해서 들어갑니다
→ 검색할 때 노이즈가 됩니다

이런 문제는 나중 단계에서는 절대 고칠 수 없습니다. 검색이 아무리 정확해도, 애초에 깨진 텍스트를 찾아올 뿐이니까요. 그래서 로딩 단계에서 잡아야 합니다.