Vectorless RAG (Vectorless RAG, 벡터 없는 RAG)

[벡터 RAG]
문서 ──> 청크로 자름 ──> 임베딩 ──> 벡터 DB
질문 ──> 임베딩 ──> 코사인 유사도 Top-K ──> LLM

[Vectorless RAG (트리 탐색형)]
문서 ──> 목차(트리) 인덱스 생성 (제목 + 요약)
질문 ──> LLM이 트리를 보고 "어느 절을 읽을지" 추론 ──> 해당 절 원문 ──> LLM

질문: "2025년 영업이익이 전년 대비 줄어든 주된 원인은?"

                 Vectorless RAG
     ┌──────────────────┼──────────────────┐
     ▼                  ▼                  ▼
 키워드 검색        구조(트리) 탐색      메타데이터 / SQL
 BM25, grep         LLM이 목차를 추론    WHERE 필터, Text-to-SQL
 "단어가 맞나?"     "어느 절인가?"       "조건이 맞나?"

질문: "2025년 3분기 이후 법무팀이 작성한 계약 검토 문서 중 '해지' 조항이 있는 것"

→ SELECT doc_id FROM documents
  WHERE team = '법무' AND created_at >= '2025-07-01' AND type = '계약검토'
→ 걸러진 문서 안에서 키워드 '해지' 검색

노드 = {
  node_id:   "0007"
  title:     "3.2 위험 요인"
  pages:     41 ~ 48
  summary:   "환율, 원자재 가격, 주요 고객 집중도에 따른 위험을 설명"
  children:  [ "0008", "0009" ]
}

① 원본 문서 (PDF 200쪽)
        │
        ▼
② 구조 추출
   - PDF 목차/북마크, 제목 글꼴 크기, 번호 체계("1.", "1.1", "제3조")로 계층 파악
        │
        ▼
③ 노드 생성
   - 절마다 title, 페이지 범위, 자식 목록
        │
        ▼
④ 요약 생성 (LLM)
   - 각 노드 원문을 짧게 요약해 summary 채움
        │
        ▼
⑤ 트리 인덱스 저장 (JSON 한 파일)

2025 사업보고서 (root)
├── 1. 회사 개요                          p.1-8
├── 2. 사업의 내용                        p.9-40
│   ├── 2.1 주요 제품                      p.9-20
│   └── 2.2 시장 현황                      p.21-40
├── 3. 경영진 분석 (MD&A)                  p.41-70
│   ├── 3.1 실적 개요                      p.41-50   "매출·영업이익 증감과 원인"
│   └── 3.2 위험 요인                      p.51-70
└── 4. 재무제표                            p.71-200
    ├── 4.1 손익계산서                     p.71-75
    └── 4.9 주석                           p.90-200
        ├── 주석 12. 손상차손               p.130-134 "일회성 손상 인식 내역"
        └── 주석 18. 특수관계자 거래         p.150-160

질문: "2025년 영업이익 감소의 주된 원인은?"

[1단계] LLM에게 최상위 노드 목록을 보여준다
  1. 회사 개요 / 2. 사업의 내용 / 3. 경영진 분석 / 4. 재무제표
  LLM: "원인 분석은 3번, 일회성 비용은 4번 주석에 있을 것" → [3, 4] 선택

[2단계] 3번의 자식 노드를 보여준다
  3.1 실적 개요 (매출·영업이익 증감과 원인) / 3.2 위험 요인
  LLM: → [3.1] 선택

[3단계] 4번의 자식 노드를 보여준다
  4.1 손익계산서 / ... / 4.9 주석
  LLM: → [4.9] 선택 → 자식 중 [주석 12. 손상차손] 선택

[4단계] 선택된 리프 노드의 원문(p.41-50, p.130-134)을 읽는다
  LLM: "충분하다" → 답변 생성

탐색 경로: root → 3 → 3.1,  root → 4 → 4.9 → 주석12   (그대로 근거로 남김)

import json
import anthropic

client = anthropic.Anthropic()
MODEL = "claude-opus-5-5"


def ask(prompt: str) -> str:
    msg = client.messages.create(
        model=MODEL, max_tokens=1024,
        messages=[{"role": "user", "content": prompt}],
    )
    return msg.content[0].text


def choose_children(question: str, node: dict) -> list[dict]:
    """현재 노드의 자식 중 질문에 필요한 것을 LLM이 고른다."""
    options = [
        {"id": c["node_id"], "title": c["title"], "summary": c["summary"]}
        for c in node["children"]
    ]
    prompt = (
        f"질문: {question}\n\n"
        f"다음은 문서 목차의 일부입니다:\n{json.dumps(options, ensure_ascii=False)}\n\n"
        "질문에 답하려면 어떤 항목을 읽어야 하나요? "
        '관련된 id만 JSON 배열로 답하세요. 예: ["0007"]. 없으면 [].'
    )
    picked = set(json.loads(ask(prompt)))
    return [c for c in node["children"] if c["node_id"] in picked]


def tree_search(question: str, node: dict, path=(), max_depth=5) -> list[tuple]:
    """리프에 도달할 때까지 내려가며 (경로, 노드)를 모은다."""
    path = path + (node["title"],)
    if not node["children"] or len(path) > max_depth:
        return [(path, node)]
    results = []
    for child in choose_children(question, node):
        results += tree_search(question, child, path, max_depth)
    return results


def answer(question: str, tree: dict, read_pages) -> str:
    hits = tree_search(question, tree)
    context = "\n\n".join(
        f"[{' > '.join(p)}] (p.{n['start_page']}-{n['end_page']})\n"
        f"{read_pages(n['start_page'], n['end_page'])}"
        for p, n in hits
    )
    return ask(f"다음 근거만 사용해 답하고, 근거 경로를 함께 밝히세요.\n\n{context}\n\n질문: {question}")

긴 구조화 문서의 성질                  트리 탐색이 이용하는 것
──────────────────────────           ──────────────────────────
저자가 이미 목차를 설계했다      →    목차 = 공짜로 주어진 인덱스
비슷한 문구가 여러 곳에 반복된다   →    문구가 아니라 "위치(어느 절)"로 구분
절 안에서 맥락이 완결된다          →    절 단위로 통째로 읽어 맥락 보존
문서 안 상호 참조가 많다           →    노드 id로 점프
근거 제시가 중요하다 (감사, 법무)  →    탐색 경로가 그대로 근거