6차시. 문서 로딩 실습
정리
- RAG의 품질은 문서 로딩 품질을 넘지 못합니다. 깨진 글자는 뒤 단계에서 고칠 수 없습니다. (6차시 「1. 왜 문서 로딩부터 배울까?」)
- 어떤 로더로 읽어도 결과는 Document 목록이고, Document는 page_content와 metadata 두 칸입니다. (6차시 「2. Document 객체 — 모든 것의 기본 단위」)
- metadata에 파일명과 쪽 번호가 있어야 답에 출처를 붙일 수 있습니다. (6차시 「2. Document 객체 — 모든 것의 기본 단위」 › 2-1) metadata가 왜 중요한가)
- 한글 TXT는 encoding="utf-8"을 주고, PDF는 쪽마다 Document가 생기며 page는 0부터 셉니다. (6차시 「5. 실습 ② — PDF 읽기」 › 5-2) 실행 결과)
- 스캔 PDF는 page_content가 거의 비어 있으므로 빈 페이지 검사와 눈으로 읽기로 확인합니다. (6차시 「6. 실습 ③ — 로딩 결과 검증하기」)
- 반복되는 머리말은 로딩 직후 지우고, 읽기 · 정리 · 검증을 load_documents 하나로 묶습니다. (6차시 「10. 이번 차시 실습 정리」)