RAG 청킹 (Chunking, 문서 분할)

원본 문서 (40페이지 PDF)
┌──────────────────────────────────────────┐
│ 1. 개요 ...                               │
│ 2. 출장 규정 ...                          │
│   2-1. 교통비 ...                         │
│   2-2. 숙박비 ...                         │
│ 3. 경비 정산 ...                          │
└──────────────────────────────────────────┘
                  │  청킹
                  ▼
 ┌──────┐ ┌──────┐ ┌──────┐ ┌──────┐ ┌──────┐
 │청크 1│ │청크 2│ │청크 3│ │청크 4│ │ ...  │  ← 각각 임베딩되어 저장
 └──────┘ └──────┘ └──────┘ └──────┘ └──────┘

질문: "서울 출장 숙박비 상한은?"

원문: "숙박비 상한은 1박 15만원이다. 단, 서울·제주 지역은 예외로 1박 20만원까지 인정한다."

[잘린 청킹]
  청크 A: "...숙박비 상한은 1박 15만원이다. 단, 서울·제주 지역은"
  청크 B: "예외로 1박 20만원까지 인정한다. 출장 중 식비는..."
  → 청크 A가 검색됨 → "15만원입니다" (오답)

[문단 단위 청킹]
  청크: "숙박비 상한은 1박 15만원이다. 단, 서울·제주 지역은 예외로 1박 20만원까지 인정한다."
  → "서울은 예외로 20만원입니다" (정답)

overlap 없음:
  [────── 청크 1 ──────][────── 청크 2 ──────][────── 청크 3 ──────]
                       ↑ 여기서 문장이 끊기면 양쪽 모두 불완전

overlap 있음 (예: 10~20%):
  [────── 청크 1 ──────]
                  [────── 청크 2 ──────]
                                  [────── 청크 3 ──────]
                  └겹침┘          └겹침┘

import tiktoken

enc = tiktoken.get_encoding("cl100k_base")

def fixed_chunks(text: str, size: int = 400, overlap: int = 50) -> list[str]:
    tokens = enc.encode(text)
    step = size - overlap
    return [enc.decode(tokens[i:i + size]) for i in range(0, len(tokens), step)]

부모 청크 (섹션, ~1500 토큰)  ← LLM에 전달
┌─────────────────────────────────────────────┐
│ ┌─────────┐ ┌─────────┐ ┌─────────┐         │
│ │ 자식 1  │ │ 자식 2  │ │ 자식 3  │  ← 임베딩·검색 (~200 토큰)
│ └─────────┘ └─────────┘ └─────────┘         │
└─────────────────────────────────────────────┘

1. 자식 청크로 검색한다 (정밀)
2. 매칭된 자식의 부모 ID를 찾는다
3. 부모 청크를 LLM에 넘긴다 (문맥 풍부)

parents = {}   # parent_id -> 부모 텍스트
children = []  # {"text": ..., "parent_id": ...}

for pid, section in enumerate(split_markdown(md)):
    parents[pid] = section["text"]
    for child in recursive_split(section["text"], size=300):
        children.append({"text": child, "parent_id": pid})

child_vecs = model.encode([c["text"] for c in children], normalize_embeddings=True)

def retrieve_parents(question: str, k: int = 5) -> list[str]:
    q = model.encode([question], normalize_embeddings=True)[0]
    top = np.argsort(-(child_vecs @ q))[:k]
    seen, result = set(), []
    for i in top:                                  # 같은 부모는 한 번만
        pid = children[i]["parent_id"]
        if pid not in seen:
            seen.add(pid)
            result.append(parents[pid])
    return result

원문: "ACME 주식회사 2024년 2분기 실적 보고서"
       ...
       "매출은 전 분기 대비 3% 증가했다."    ← 이 문장만 청크가 됨

질문: "ACME의 2024년 2분기 매출 성장률은?"
청크: "매출은 전 분기 대비 3% 증가했다."
       → 어느 회사? 어느 분기? 청크에 정보가 없어서 검색이 안 된다

[원래 청크]
"매출은 전 분기 대비 3% 증가했다."

[문맥 보강된 청크]
"이 청크는 ACME 주식회사의 2024년 2분기 실적 보고서 중 매출 실적 부분이다.
 매출은 전 분기 대비 3% 증가했다."

import anthropic

client = anthropic.Anthropic()

def situate(document: str, chunk: str) -> str:
    resp = client.messages.create(
        model="claude-haiku-4-5",
        max_tokens=150,
        messages=[{
            "role": "user",
            "content": [
                {   # 같은 문서의 청크들이 문서 부분을 공유하므로 프롬프트 캐싱
                    "type": "text",
                    "text": f"<document>\n{document}\n</document>",
                    "cache_control": {"type": "ephemeral"},
                },
                {
                    "type": "text",
                    "text": f"<chunk>\n{chunk}\n</chunk>\n"
                            "이 청크가 위 문서 전체에서 어떤 맥락인지, 검색에 도움이 되도록 "
                            "한두 문장으로 짧게 설명하세요. 설명만 답하세요.",
                },
            ],
        }],
    )
    return resp.content[0].text.strip()

contextual_chunks = [f"{situate(doc, c)}\n{c}" for c in chunks]
# 이후 contextual_chunks로 임베딩과 BM25 색인을 만든다

[원본 표]
| 직급 | 숙박비 상한 | 식비 상한 |
|------|-------------|-----------|
| L3   | 12만원      | 3만원     |
| L5   | 18만원      | 5만원     |

[텍스트 추출 결과]
"직급 숙박비 상한 식비 상한 L3 12만원 3만원 L5 18만원 5만원"
→ "L5 식비 상한은?" 에 답하기 어렵다

문서에 구조(헤더, 조항, 섹션)가 있는가?
 ├─ 예 → 구조 기반 분할 + 너무 긴 섹션은 재귀 분할
 │        + 헤더 경로를 청크 앞에 붙인다
 └─ 아니오 → 재귀 문자 분할로 시작
              └─ 주제가 자주 바뀌는 긴 글이면 시맨틱 청킹을 비교해 본다

검색은 되는데 답에 문맥이 부족한가?      → Parent-Child / Sentence Window
청크만 보고는 무슨 이야기인지 모르는가?  → 문맥 보강 (메타데이터 → LLM 맥락)
표·코드가 많은가?                        → 7장의 전용 처리