Reranking (Reranking, 리랭킹)

2026.10.03 · 16분

1. 리랭킹이란?

리랭킹(Reranking)은 1단계 검색이 가져온 후보 문서들을 더 정밀하지만 더 느린 모델로 다시 점수 매겨 순서를 바꾸는 단계입니다. RAG 파이프라인에서는 보통 검색과 생성 사이에 들어갑니다.

text

질문
 │
 ▼
┌────────────────────┐   후보 50개    ┌────────────────────┐   상위 5개   ┌──────────┐
│ 1단계 검색          │ ─────────────> │ 2단계 리랭킹         │ ───────────> │ LLM 생성  │
│ (벡터 / BM25)       │                │ (cross-encoder 등)  │              │          │
│ 빠름, 대충 맞음      │                │ 느림, 정확함          │              │          │
└────────────────────┘                └────────────────────┘              └──────────┘

도서관에 비유하면 이렇습니다.

단계	도서관	검색 시스템
1단계 검색	사서가 분류 번호로 관련 서가에서 책 50권을 뽑아 온다	벡터 검색, BM25로 후보를 넓게 가져온다
2단계 리랭킹	전문가가 50권을 한 권씩 펼쳐 보고 질문에 정말 맞는 5권을 고른다	질문과 문서를 함께 읽는 모델로 다시 점수를 매긴다

사서는 수백만 권 중에서 빠르게 골라야 하니 대충 볼 수밖에 없고, 전문가는 50권만 보면 되니 꼼꼼하게 읽을 수 있습니다. 리랭킹은 이렇게 역할을 나누는 단계입니다.

2. 왜 1단계 검색만으로 부족한가?

2-1. 임베딩은 "비슷한 주제"를 찾지 "정답"을 찾지 않는다

벡터 검색은 질문과 문서를 각각 따로 하나의 벡터로 압축한 뒤 거리를 잽니다. 문장 전체의 의미가 수백~수천 차원 벡터 하나로 줄어들기 때문에 세부 정보가 뭉개집니다.

text

질문: "환불은 구매 후 며칠 안에 신청해야 하나요?"

벡터 검색 결과 (유사도 순)
1. "환불 정책 개요: 당사는 고객 만족을 최우선으로..."      0.83  ← 주제만 같음
2. "교환 및 반품은 고객센터로 문의해 주세요."             0.81  ← 주제만 같음
3. "결제 취소와 환불의 차이"                            0.80
4. "구매일로부터 7일 이내에 환불을 신청할 수 있습니다."     0.79  ← 정답

참고 문서 4

이 글의 연결 보기

3. Bi-encoder vs Cross-encoder

문제	설명
비용	입력 토큰이 늘어나 호출당 비용이 커진다
지연	프롬프트가 길수록 첫 토큰까지 시간이 늘어난다
품질	관련 없는 문서가 섞이면 LLM이 엉뚱한 근거를 인용하거나, 긴 컨텍스트 중간에 있는 정보를 놓치기 쉽다

리랭킹을 이해하려면 두 모델 구조의 차이를 알아야 합니다.

3-1. Bi-encoder (1단계 검색용)

질문과 문서를 따로 인코딩하고, 나중에 벡터끼리 비교합니다.

text

   질문                    문서
    │                       │
    ▼                       ▼
┌─────────┐           ┌─────────┐
│ Encoder │           │ Encoder │   ← 같은 모델(가중치 공유)일 수도 있음
└────┬────┘           └────┬────┘
     ▼                     ▼
  벡터 q                 벡터 d     ← 문서 벡터는 미리 계산해 DB에 저장
     │                     │
     └──── cosine(q, d) ───┘
              │
            점수

문서 벡터를 미리 계산해 둘 수 있습니다. 검색 시에는 질문 하나만 인코딩하면 됩니다.
그래서 수백만 문서도 ANN 인덱스로 밀리초 단위에 검색합니다.
대신 질문과 문서가 서로를 보지 못한 채 압축되므로 미세한 관계를 놓칩니다.

3-2. Cross-encoder (리랭킹용)

질문과 문서를 한 입력으로 이어 붙여 모델에 넣고, 관련도 점수 하나를 바로 출력합니다.

text

   [CLS] 질문 [SEP] 문서 [SEP]
              │
              ▼
     ┌──────────────────┐
     │   Transformer     │  ← 질문의 모든 토큰이 문서의 모든 토큰을 attention으로 본다
     └────────┬─────────┘
              ▼
         관련도 점수 (예: 0.94)

질문의 "며칠"과 문서의 "7일 이내"가 attention으로 직접 연결되므로 정확도가 높습니다.
대신 문서 벡터를 미리 계산할 수 없습니다. 질문이 들어올 때마다 (질문, 문서) 쌍마다 모델을 한 번씩 돌려야 합니다.

3-3. 비교

구분	Bi-encoder	Cross-encoder
입력	질문, 문서를 따로	질문+문서를 함께
사전 계산	문서 벡터 미리 저장 가능	불가능
쿼리당 연산	질문 1회 인코딩 + 벡터 비교	후보 수 N만큼 모델 실행
대상 규모	수백만~수십억 문서	수십~수백 개 후보
정확도	상대적으로 낮음	상대적으로 높음
역할	1단계: 후보 찾기 (recall)	2단계: 순서 다듬기 (precision)

100만 문서 전체에 cross-encoder를 돌리면 질문 하나에 모델을 100만 번 실행해야 하므로 현실적으로 불가능합니다. 그래서 bi-encoder로 50개를 고르고, 그 50개에만 cross-encoder를 씁니다.

5. 리랭커의 종류

파라미터	의미	정하는 방법
1단계 top-k (예: 50)	리랭커에 넘길 후보 수	평가셋에서 recall@k가 충분히 높아지는 지점. 너무 크면 리랭킹이 느려진다
2단계 top-n (예: 5)	LLM에 넘길 문서 수	답변 품질과 토큰 비용을 보고 결정
점수 임계값	관련 없는 문서 제거	리랭커 점수 분포를 보고 정한다. 모델마다 점수 스케일이 달라서 다른 모델 값을 그대로 쓰면 안 된다

5-1. 오픈소스 Cross-encoder

Hugging Face에 공개된 모델을 직접 띄워 씁니다.

모델 예시	특징
`cross-encoder/ms-marco-MiniLM-L-6-v2`	작고 빠름. MS MARCO(영어)로 학습. 입문용으로 많이 쓰임
`BAAI/bge-reranker-v2-m3`	다국어 지원. 한국어 문서에도 쓸 수 있음
Jina, Mixedbread 등의 리랭커	각 회사가 공개한 오픈 가중치 리랭커

장점: 데이터가 외부로 나가지 않고, 호출당 비용이 없습니다.
단점: GPU 서버를 운영해야 하고, 모델 선택·업데이트를 직접 관리합니다.

영어 데이터로만 학습된 모델은 한국어 문서에서 성능이 크게 떨어질 수 있습니다. 반드시 자기 데이터로 평가한 뒤 고릅니다.

5-2. API 리랭커

Cohere Rerank, Voyage AI, Jina 등이 리랭킹 전용 API를 제공합니다. 질문과 문서 목록을 보내면 관련도 점수와 순서를 돌려줍니다.

장점: 인프라 운영이 없고, 다국어 모델이 준비되어 있습니다.
단점: 호출당 비용, 네트워크 지연, 문서 내용이 외부로 전송된다는 점을 검토해야 합니다.

5-3. LLM 기반 리랭킹

범용 LLM에게 "이 문서들을 질문과의 관련도 순으로 정렬하라"고 시키는 방식입니다.

방식	설명	특징
Pointwise	문서 하나씩 "관련도 0~10점"을 매기게 한다	단순, 병렬화 쉬움. 점수 기준이 흔들릴 수 있음
Listwise	문서 여러 개를 한 번에 주고 순서를 출력하게 한다	문서끼리 비교 가능. 긴 목록은 여러 창으로 나눠 슬라이딩해야 함
Pairwise	두 문서 중 어느 쪽이 더 관련 있는지 묻는다	정확하지만 호출 수가 매우 많음

장점: 별도 학습 없이 도메인 지식, 복잡한 지시("2024년 이후 정책만 우선")를 반영할 수 있습니다.
단점: 가장 느리고 비쌉니다. 출력 형식이 깨질 수 있어 파싱 방어 코드가 필요합니다.

5-4. ColBERT (Late Interaction)

ColBERT는 bi-encoder와 cross-encoder 사이에 있는 방식입니다 (Khattab & Zaharia, 2020).

text

질문 토큰 벡터들  q1  q2  q3
문서 토큰 벡터들  d1  d2  d3  d4  d5   ← 미리 계산해 저장 가능

점수 = Σ (각 질문 토큰 qi에 대해  max_j  sim(qi, dj))
        └ MaxSim: 질문 토큰마다 가장 비슷한 문서 토큰을 찾아 더한다

문서를 벡터 하나 대신 토큰별 벡터 여러 개로 저장합니다.
문서 쪽을 미리 계산할 수 있어서 cross-encoder보다 빠르고, 토큰 단위로 비교해서 bi-encoder보다 정밀합니다.
대신 저장 공간이 토큰 수만큼 늘어납니다.
1단계 검색에 직접 쓸 수도 있고, 리랭커로 쓸 수도 있습니다.

5-5. 한눈에 비교

종류	정확도	지연	비용 구조	운영 부담
오픈 cross-encoder	높음	중간 (GPU 필요)	서버 비용	높음
API 리랭커	높음	중간 + 네트워크	호출당 과금	낮음
LLM 리랭킹	높음 (모델에 따라)	높음	토큰 과금	낮음
ColBERT	중간~높음	낮음	저장 공간	중간

6. 코드 예시

6-1. sentence-transformers CrossEncoder

python

from sentence_transformers import CrossEncoder

reranker = CrossEncoder("BAAI/bge-reranker-v2-m3")

query = "환불은 구매 후 며칠 안에 신청해야 하나요?"
candidates = [
    "환불 정책 개요: 당사는 고객 만족을 최우선으로 합니다.",
    "교환 및 반품은 고객센터로 문의해 주세요.",
    "결제 취소와 환불의 차이를 설명합니다.",
    "구매일로부터 7일 이내에 환불을 신청할 수 있습니다.",
]

scores = reranker.predict([(query, doc) for doc in candidates])
ranked = sorted(zip(candidates, scores), key=lambda x: x[1], reverse=True)

for doc, score in ranked:
    print(f"{score:.3f}  {doc}")

predict에 (질문, 문서) 쌍 목록을 넘기면 쌍마다 점수 하나가 나옵니다. 모델마다 점수 스케일(logit인지 0~1인지)이 다르니 절대값보다 순서를 먼저 봅니다.

6-2. 2단계 검색 전체 흐름

python

import numpy as np
from sentence_transformers import SentenceTransformer, CrossEncoder

embedder = SentenceTransformer("BAAI/bge-m3")
reranker = CrossEncoder("BAAI/bge-reranker-v2-m3")

docs = [...]  # 전체 청크 목록
doc_vecs = embedder.encode(docs, normalize_embeddings=True)  # 미리 계산

def search(query: str, k1: int = 50, k2: int = 5, min_score: float | None = None):
    # 1단계: bi-encoder로 후보 k1개
    q = embedder.encode(query, normalize_embeddings=True)
    sims = doc_vecs @ q
    cand_idx = np.argsort(-sims)[:k1]

    # 2단계: cross-encoder로 다시 점수
    pairs = [(query, docs[i]) for i in cand_idx]
    scores = reranker.predict(pairs, batch_size=16)
    order = np.argsort(-scores)[:k2]

    results = [(docs[cand_idx[i]], float(scores[i])) for i in order]
    if min_score is not None:
        results = [r for r in results if r[1] >= min_score]
    return results

실제 서비스에서는 1단계를 벡터 DB가 맡고, 여기서는 이해를 위해 numpy 내적으로 대신했습니다.

6-3. API 리랭커 (Cohere 예시)

python

import cohere

co = cohere.ClientV2()  # 환경 변수 CO_API_KEY 사용

resp = co.rerank(
    model="rerank-v3.5",
    query=query,
    documents=candidates,
    top_n=5,
)
for r in resp.results:
    print(r.index, round(r.relevance_score, 3), candidates[r.index])

모델 이름과 SDK 사용법은 버전에 따라 바뀌므로 공식 문서를 확인합니다.

6-4. LLM pointwise 리랭킹

python

import json
from anthropic import Anthropic

client = Anthropic()
MODEL = "claude-haiku-4-5"  # 리랭킹에는 작고 빠른 모델이 적합

PROMPT = """질문과 문서가 주어집니다.
문서가 질문에 답하는 데 얼마나 도움이 되는지 0~10 정수로 평가하세요.
JSON으로만 답하세요: {{"score": <정수>}}

질문: {query}
문서: {doc}"""

def llm_score(query: str, doc: str) -> int:
    msg = client.messages.create(
        model=MODEL,
        max_tokens=20,
        messages=[{"role": "user", "content": PROMPT.format(query=query, doc=doc)}],
    )
    try:
        return int(json.loads(msg.content[0].text)["score"])
    except (ValueError, KeyError, json.JSONDecodeError):
        return 0  # 파싱 실패는 최하점 처리

ranked = sorted(candidates, key=lambda d: llm_score(query, d), reverse=True)

후보 50개면 LLM 호출 50번입니다. 실제로는 병렬 호출하거나, 여러 문서를 한 프롬프트에 넣는 listwise 방식으로 호출 수를 줄입니다.

방법	효과	대가
1단계 top-k 줄이기	리랭킹 연산 감소	recall 하락 위험
더 작은 리랭커 모델	지연 감소	정확도 하락
문서를 잘라서 넣기 (max_length)	쌍당 연산 감소	문서 뒷부분 정보 손실
배치 처리, GPU 사용	처리량 증가	인프라 비용
자주 나오는 질문 결과 캐싱	반복 질문 지연 제거	캐시 무효화 관리

장점	설명
정확도 향상	질문과 문서를 함께 읽어 미세한 관련성까지 판단한다
구조가 단순	기존 검색 파이프라인 뒤에 한 단계만 추가하면 된다
결과 통합	여러 검색기의 결과를 하나의 점수 체계로 정렬한다
LLM 비용 절감	넘기는 문서 수를 줄여 토큰을 아낀다

단점	설명
지연 증가	후보 수만큼 모델을 실행해야 한다
운영 부담	오픈 모델은 GPU 서빙, API는 비용·데이터 반출 검토가 필요하다
recall은 못 고친다	1단계에서 놓친 문서는 되살릴 수 없다
도메인·언어 의존	학습 데이터와 다른 언어·도메인에서는 성능이 떨어질 수 있다

Reranking (Reranking, 리랭킹)

1. 리랭킹이란?

2. 왜 1단계 검색만으로 부족한가?

2-1. 임베딩은 "비슷한 주제"를 찾지 "정답"을 찾지 않는다

참고 문서 4

2-2. BM25는 단어가 겹치면 점수가 높다

2-3. top-k를 늘리면 되지 않나?

3. Bi-encoder vs Cross-encoder

3-1. Bi-encoder (1단계 검색용)

3-2. Cross-encoder (리랭킹용)

3-3. 비교

4. 2단계 검색 구조

4-1. 기본 흐름

4-2. 숫자는 어떻게 정하나?

4-3. 하이브리드 검색과의 조합

5. 리랭커의 종류

5-1. 오픈소스 Cross-encoder

5-2. API 리랭커

5-3. LLM 기반 리랭킹

5-4. ColBERT (Late Interaction)

5-5. 한눈에 비교

6. 코드 예시

6-1. sentence-transformers CrossEncoder

6-2. 2단계 검색 전체 흐름

6-3. API 리랭커 (Cohere 예시)

6-4. LLM pointwise 리랭킹

7. 지연·비용 트레이드오프

7-1. 어디서 시간이 드는가

7-2. 줄이는 방법

7-3. 리랭커가 오히려 비용을 줄이는 경우

8. 언제 쓰고, 언제 쓰지 않는가

8-1. 쓰면 좋은 경우

8-2. 쓰지 않아도 되는 경우

8-3. 진단 순서

9. 장점과 단점

10. 핵심 정리

이 문서를 참고한 문서 3