6차시. 문서 로딩 실습
체크리스트와 과제
원본 PDF 끝부분의 체크리스트, 과제, 다음 차시 미리보기를 한 페이지에 모았습니다.
이번 차시 체크리스트
출처: 원본 PDF 21쪽 · 쪽 그림 21쪽
개념 이해
□ Ingestion이 RAG 5단계 중 첫 번째임을 안다
□ Document가 page_content와 metadata로 이루어짐을 안다
□ metadata가 출처 표시에 왜 필요한지 설명할 수 있다
□ TXT는 1개, PDF는 페이지마다 Document가 생김을 안다
실습
□ TextLoader로 한글 텍스트를 깨짐 없이 읽었다
□ PyPDFLoader로 PDF를 읽고 페이지 수를 확인했다
□ page_content와 metadata를 직접 출력해봤다
□ 빈 페이지 검증 코드를 실행했다
□ metadata에 filename과 page_no를 추가했다
□ load_documents 함수를 완성했다
과제
출처: 원본 PDF 21쪽 · 쪽 그림 21쪽
🎯 이번 차시 과제
1. 내 문서로 실습하기
회사 문서나 관심 있는 PDF를 하나 골라
load_documents로 읽고 결과를 확인하세요.
2. 로딩 리포트 작성
아래 항목을 표로 정리해 제출하세요.
· 파일명과 형식
· 총 페이지 수 / 총 글자 수
· 빈 페이지 유무
· 반복되는 잡음 문구가 있었는가
· 첫 페이지 내용 앞 200자
3. 실패 사례 찾아보기
일부러 스캔 PDF나 인코딩이 다른 파일을 읽어보고
어떤 증상이 나오는지 기록해두세요.
다음 차시 미리보기
출처: 원본 PDF 22쪽 · 쪽 그림 22쪽
7차시: 텍스트 분할 이해
오늘 읽어들인 문서는 너무 깁니다.
12페이지 PDF를 통째로 LLM에 넣을 수는 없습니다.
그래서 다음 차시에는 문서를 잘게 나눕니다.
· 왜 잘라야 하는가 (컨텍스트 창의 한계)
· chunk_size — 얼마나 크게 자를 것인가
· chunk_overlap — 왜 겹쳐야 하는가
· 문장이 중간에 끊기는 문제 해결하기
분할을 잘하면 검색의 절반은 성공한 것입니다.
💬 마무리
오늘 배운 내용은 화려하지 않습니다. 파일을 읽는 것뿐이니까요.
하지만 실무에서 RAG 프로젝트가 실패하는 원인의 상당수가 바로 이 단계에 있습니다. 문서 가 제대로 안 읽혔는데 그걸 모른 채 검색 알고리즘만 계속 손보는 경우가 정말 많습니다. 읽은 다음에는 반드시 눈으로 확인하기.
이 습관 하나만 몸에 붙여도 앞으로 수십 시간을 아낄 수 있습니다.
다음 차시에서 만나요! 📚