6차시. 문서 로딩 실습
3. 문서 형식별 로더 알아보기
출처: 원본 PDF 06차시_문서로딩실습.pdf 7쪽 · 쪽 그림 7쪽
형식마다 전용 로더가 있습니다. 파일 확장자를 보고 맞는 것을 고르면 됩니다.
| 형식 | 로더 | 반드시 알아둘 점 |
|---|---|---|
| .txt | TextLoader | encoding="utf-8"을 안 쓰면 한글이 깨집니다 |
| PyPDFLoader | 페이지 단위로 나뉩니다. 스캔본은 텍스트가 없습니다 | |
| .md | UnstructuredMarkdownLoader | #, ## 같은 제목 구조를 살릴 수 있습니다 |
| .docx | Docx2txtLoader | 표가 단순 텍스트로 평탄화됩니다 |
| .csv | CSVLoader | 한 행이 하나의 Document가 됩니다 |
| 폴더 전체 | DirectoryLoader | glob 패턴으로 확장자를 지정해야 합니다 |
| 웹페이지 | WebBaseLoader | 광고·메뉴 같은 불필요한 요소가 함께 들어옵니다 |
⚠️ 로더 선택이 헷갈릴 때
"이 형식은 어떤 로더를 써야 하지?"
고민하지 말고 이렇게 하세요:
1. 일단 확장자에 맞는 로더로 읽어봅니다
2. page_content를 출력해서 눈으로 확인합니다
3. 이상하면 다른 로더를 시도합니다
눈으로 확인하는 것이 가장 확실합니다.