8. 실습 ④ — 내 문서에 맞는 값 찾기

출처: 원본 PDF 07차시_텍스트분할이해.pdf 17~18쪽 · 쪽 그림 17쪽 18쪽

숫자만 봐서는 부족합니다. 실제 조각 내용을 읽어봐야 합니다.

📝 조각을 직접 읽어보는 코드

def preview(chunks, n=5):
    # 앞에서 n개 조각의 내용을 사람이 읽기 좋게 출력
    for i, c in enumerate(chunks[:n]):
        text = c.page_content.replace("\n", " ")
        print(f"[{i}] ({len(c.page_content)}자) {text[:90]}...")
        print()
chunks = try_size(docs, 100, 20)
preview(chunks)

실행 결과 예시 (코드를 읽고 만든 예상 화면입니다. 실제 실행 결과, 특히 모델의 답은 다를 수 있습니다)

size=100   overlap=20   조각수=21   평균=77    최소=47    최대=99
[0] (88자) 1 제품 사용 설명서 가정용 공기청정기 AP-3300 목차 1. 제품 개요 2. 설치 방법 3. 사용 방법 4. 환불 및 교환 규정 5. 보증 및 무상 A/S...

[1] (57자) 5. 보증 및 무상 A/S 6. 문제 해결(FAQ) 7. 고객센터 안내 8. 제품 사양 9. 품질보증서...

[2] (78자) 가정용 공기청정기 AP-3300 2 1. 제품 개요 본 제품은 가정용 공기청정기로서, 초미세먼지·유해가스·생활 악취를 효과적으로 제거합니다....

[3] (97자) HEPA 13 등급 필터와 활성탄 필터를 함께 사용하여 실내 공기질을 쾌적하게 유지합니다. 권장 사용 면적은 33㎡ 이내이며, 저소음 설계로 취침 시에도 사용할 ...

[4] (75자) 2. 설치 방법 벽면에서 30cm 이상 떨어진 곳에 제품을 설치해 주세요. 바닥이 평평하고 통풍이 잘 되는 곳에 두시는 것이 좋습니다....

8-1) 판단 기준 — 이 질문을 던지세요

🎯 조각을 읽으면서 스스로에게 물어보세요
Q1. 이 조각 하나만 보고 무슨 얘기인지 알 수 있는가?
→ No라면 chunk_size를 키우세요
Q2. 한 조각에 서로 다른 주제가 섞여 있는가?
→ Yes라면 chunk_size를 줄이세요
Q3. 문장이 중간에 어색하게 끊기는가?
→ Yes라면 overlap을 늘리세요
Q4. 제목과 내용이 다른 조각으로 갈라졌는가?
→ Yes라면 separators 순서를 점검하세요
이 네 가지만 보면 대부분의 설정을 잡을 수 있습니다.

8-2) 문서 종류별 권장 출발점

💡 표는 출발점일 뿐입니다
여기서 시작해서 조각을 읽어보고 조정하세요.
그리고 14차시에서는
"정답률"이라는 숫자로 이 값을 검증하게 됩니다.
오늘의 감각 + 14차시의 측정 = 최적값입니다.