Reranking (Reranking, 리랭킹)
2026.10.03 · 16분
1. 리랭킹이란?
리랭킹(Reranking)은 1단계 검색이 가져온 후보 문서들을 더 정밀하지만 더 느린 모델로 다시 점수 매겨 순서를 바꾸는 단계입니다. RAG 파이프라인에서는 보통 검색과 생성 사이에 들어갑니다.
질문
│
▼
┌────────────────────┐ 후보 50개 ┌────────────────────┐ 상위 5개 ┌──────────┐
│ 1단계 검색 │ ─────────────> │ 2단계 리랭킹 │ ───────────> │ LLM 생성 │
│ (벡터 / BM25) │ │ (cross-encoder 등) │ │ │
│ 빠름, 대충 맞음 │ │ 느림, 정확함 │ │ │
└────────────────────┘ └────────────────────┘ └──────────┘도서관에 비유하면 이렇습니다.
| 단계 | 도서관 | 검색 시스템 |
|---|---|---|
| 1단계 검색 | 사서가 분류 번호로 관련 서가에서 책 50권을 뽑아 온다 | 벡터 검색, BM25로 후보를 넓게 가져온다 |
| 2단계 리랭킹 | 전문가가 50권을 한 권씩 펼쳐 보고 질문에 정말 맞는 5권을 고른다 | 질문과 문서를 함께 읽는 모델로 다시 점수를 매긴다 |
사서는 수백만 권 중에서 빠르게 골라야 하니 대충 볼 수밖에 없고, 전문가는 50권만 보면 되니 꼼꼼하게 읽을 수 있습니다. 리랭킹은 이렇게 역할을 나누는 단계입니다.
2. 왜 1단계 검색만으로 부족한가?
2-1. 임베딩은 "비슷한 주제"를 찾지 "정답"을 찾지 않는다
벡터 검색은 질문과 문서를 각각 따로 하나의 벡터로 압축한 뒤 거리를 잽니다. 문장 전체의 의미가 수백~수천 차원 벡터 하나로 줄어들기 때문에 세부 정보가 뭉개집니다.
질문: "환불은 구매 후 며칠 안에 신청해야 하나요?"
벡터 검색 결과 (유사도 순)
1. "환불 정책 개요: 당사는 고객 만족을 최우선으로..." 0.83 ← 주제만 같음
2. "교환 및 반품은 고객센터로 문의해 주세요." 0.81 ← 주제만 같음
3. "결제 취소와 환불의 차이" 0.80
4. "구매일로부터 7일 이내에 환불을 신청할 수 있습니다." 0.79 ← 정답정답 문서가 4위에 있습니다. 상위 3개만 LLM에 넘기면 정답이 빠집니다.
2-2. BM25는 단어가 겹치면 점수가 높다
BM25 같은 키워드 검색은 단어 일치에 강하지만, 단어만 겹치고 내용은 관계없는 문서도 높게 올립니다. "환불"이라는 단어가 많이 나오는 FAQ 목차 페이지가 1위가 되는 식입니다.
2-3. top-k를 늘리면 되지 않나?
후보를 20개, 50개씩 LLM에 넘기면 정답이 포함될 확률은 올라가지만, 다른 문제가 생깁니다.
| 문제 | 설명 |
|---|---|
| 비용 | 입력 토큰이 늘어나 호출당 비용이 커진다 |
| 지연 | 프롬프트가 길수록 첫 토큰까지 시간이 늘어난다 |
| 품질 | 관련 없는 문서가 섞이면 LLM이 엉뚱한 근거를 인용하거나, 긴 컨텍스트 중간에 있는 정보를 놓치기 쉽다 |
그래서 "넓게 가져오고(recall), 좁게 넘긴다(precision)"는 2단계 구조가 표준처럼 쓰입니다.
3. Bi-encoder vs Cross-encoder
리랭킹을 이해하려면 두 모델 구조의 차이를 알아야 합니다.
3-1. Bi-encoder (1단계 검색용)
질문과 문서를 따로 인코딩하고, 나중에 벡터끼리 비교합니다.
질문 문서
│ │
▼ ▼
┌─────────┐ ┌─────────┐
│ Encoder │ │ Encoder │ ← 같은 모델(가중치 공유)일 수도 있음
└────┬────┘ └────┬────┘
▼ ▼
벡터 q 벡터 d ← 문서 벡터는 미리 계산해 DB에 저장
│ │
└──── cosine(q, d) ───┘
│
점수- 문서 벡터를 미리 계산해 둘 수 있습니다. 검색 시에는 질문 하나만 인코딩하면 됩니다.
- 그래서 수백만 문서도 ANN 인덱스로 밀리초 단위에 검색합니다.
- 대신 질문과 문서가 서로를 보지 못한 채 압축되므로 미세한 관계를 놓칩니다.
3-2. Cross-encoder (리랭킹용)
질문과 문서를 한 입력으로 이어 붙여 모델에 넣고, 관련도 점수 하나를 바로 출력합니다.
[CLS] 질문 [SEP] 문서 [SEP]
│
▼
┌──────────────────┐
│ Transformer │ ← 질문의 모든 토큰이 문서의 모든 토큰을 attention으로 본다
└────────┬─────────┘
▼
관련도 점수 (예: 0.94)- 질문의 "며칠"과 문서의 "7일 이내"가 attention으로 직접 연결되므로 정확도가 높습니다.
- 대신 문서 벡터를 미리 계산할 수 없습니다. 질문이 들어올 때마다 (질문, 문서) 쌍마다 모델을 한 번씩 돌려야 합니다.
3-3. 비교
| 구분 | Bi-encoder | Cross-encoder |
|---|---|---|
| 입력 | 질문, 문서를 따로 | 질문+문서를 함께 |
| 사전 계산 | 문서 벡터 미리 저장 가능 | 불가능 |
| 쿼리당 연산 | 질문 1회 인코딩 + 벡터 비교 | 후보 수 N만큼 모델 실행 |
| 대상 규모 | 수백만~수십억 문서 | 수십~수백 개 후보 |
| 정확도 | 상대적으로 낮음 | 상대적으로 높음 |
| 역할 | 1단계: 후보 찾기 (recall) | 2단계: 순서 다듬기 (precision) |
100만 문서 전체에 cross-encoder를 돌리면 질문 하나에 모델을 100만 번 실행해야 하므로 현실적으로 불가능합니다. 그래서 bi-encoder로 50개를 고르고, 그 50개에만 cross-encoder를 씁니다.
4. 2단계 검색 구조
4-1. 기본 흐름
1. 질문 임베딩
2. 벡터 DB에서 top-50 후보 검색 (수십 ms)
3. (선택) BM25 결과와 합치기 → 중복 제거
4. cross-encoder로 50개 각각 점수 계산 (수십~수백 ms, 하드웨어에 따라 다름)
5. 점수 순 정렬 → top-5
6. (선택) 점수가 임계값 미만이면 버리기
7. LLM 프롬프트에 top-5 삽입4-2. 숫자는 어떻게 정하나?
| 파라미터 | 의미 | 정하는 방법 |
|---|---|---|
| 1단계 top-k (예: 50) | 리랭커에 넘길 후보 수 | 평가셋에서 recall@k가 충분히 높아지는 지점. 너무 크면 리랭킹이 느려진다 |
| 2단계 top-n (예: 5) | LLM에 넘길 문서 수 | 답변 품질과 토큰 비용을 보고 결정 |
| 점수 임계값 | 관련 없는 문서 제거 | 리랭커 점수 분포를 보고 정한다. 모델마다 점수 스케일이 달라서 다른 모델 값을 그대로 쓰면 안 된다 |
1단계는 놓치지 않는 것(recall), 2단계는 고르는 것(precision)에 집중한다.
1단계에서 정답이 후보 50개 안에 들어오지 못하면 리랭커가 아무리 좋아도 소용이 없습니다. 리랭커는 순서를 바꿀 뿐, 없는 문서를 찾아오지 못합니다.
4-3. 하이브리드 검색과의 조합
벡터 검색과 BM25 결과를 합칠 때 두 점수의 스케일이 다르다는 문제가 있습니다. 리랭커를 쓰면 이 문제가 단순해집니다. 두 결과를 합집합으로 모은 뒤 리랭커 하나로 다시 점수를 매기면 되기 때문입니다.
벡터 top-30 ─┐
├─> 합집합 (중복 제거, 약 45개) ─> 리랭커 ─> top-5
BM25 top-30 ─┘5. 리랭커의 종류
5-1. 오픈소스 Cross-encoder
Hugging Face에 공개된 모델을 직접 띄워 씁니다.
| 모델 예시 | 특징 |
|---|---|
cross-encoder/ms-marco-MiniLM-L-6-v2 | 작고 빠름. MS MARCO(영어)로 학습. 입문용으로 많이 쓰임 |
BAAI/bge-reranker-v2-m3 | 다국어 지원. 한국어 문서에도 쓸 수 있음 |
| Jina, Mixedbread 등의 리랭커 | 각 회사가 공개한 오픈 가중치 리랭커 |
- 장점: 데이터가 외부로 나가지 않고, 호출당 비용이 없습니다.
- 단점: GPU 서버를 운영해야 하고, 모델 선택·업데이트를 직접 관리합니다.
영어 데이터로만 학습된 모델은 한국어 문서에서 성능이 크게 떨어질 수 있습니다. 반드시 자기 데이터로 평가한 뒤 고릅니다.
5-2. API 리랭커
Cohere Rerank, Voyage AI, Jina 등이 리랭킹 전용 API를 제공합니다. 질문과 문서 목록을 보내면 관련도 점수와 순서를 돌려줍니다.
- 장점: 인프라 운영이 없고, 다국어 모델이 준비되어 있습니다.
- 단점: 호출당 비용, 네트워크 지연, 문서 내용이 외부로 전송된다는 점을 검토해야 합니다.
5-3. LLM 기반 리랭킹
범용 LLM에게 "이 문서들을 질문과의 관련도 순으로 정렬하라"고 시키는 방식입니다.
| 방식 | 설명 | 특징 |
|---|---|---|
| Pointwise | 문서 하나씩 "관련도 0~10점"을 매기게 한다 | 단순, 병렬화 쉬움. 점수 기준이 흔들릴 수 있음 |
| Listwise | 문서 여러 개를 한 번에 주고 순서를 출력하게 한다 | 문서끼리 비교 가능. 긴 목록은 여러 창으로 나눠 슬라이딩해야 함 |
| Pairwise | 두 문서 중 어느 쪽이 더 관련 있는지 묻는다 | 정확하지만 호출 수가 매우 많음 |
- 장점: 별도 학습 없이 도메인 지식, 복잡한 지시("2024년 이후 정책만 우선")를 반영할 수 있습니다.
- 단점: 가장 느리고 비쌉니다. 출력 형식이 깨질 수 있어 파싱 방어 코드가 필요합니다.
5-4. ColBERT (Late Interaction)
ColBERT는 bi-encoder와 cross-encoder 사이에 있는 방식입니다 (Khattab & Zaharia, 2020).
질문 토큰 벡터들 q1 q2 q3
문서 토큰 벡터들 d1 d2 d3 d4 d5 ← 미리 계산해 저장 가능
점수 = Σ (각 질문 토큰 qi에 대해 max_j sim(qi, dj))
└ MaxSim: 질문 토큰마다 가장 비슷한 문서 토큰을 찾아 더한다- 문서를 벡터 하나 대신 토큰별 벡터 여러 개로 저장합니다.
- 문서 쪽을 미리 계산할 수 있어서 cross-encoder보다 빠르고, 토큰 단위로 비교해서 bi-encoder보다 정밀합니다.
- 대신 저장 공간이 토큰 수만큼 늘어납니다.
- 1단계 검색에 직접 쓸 수도 있고, 리랭커로 쓸 수도 있습니다.
5-5. 한눈에 비교
| 종류 | 정확도 | 지연 | 비용 구조 | 운영 부담 |
|---|---|---|---|---|
| 오픈 cross-encoder | 높음 | 중간 (GPU 필요) | 서버 비용 | 높음 |
| API 리랭커 | 높음 | 중간 + 네트워크 | 호출당 과금 | 낮음 |
| LLM 리랭킹 | 높음 (모델에 따라) | 높음 | 토큰 과금 | 낮음 |
| ColBERT | 중간~높음 | 낮음 | 저장 공간 | 중간 |
6. 코드 예시
6-1. sentence-transformers CrossEncoder
from sentence_transformers import CrossEncoder
reranker = CrossEncoder("BAAI/bge-reranker-v2-m3")
query = "환불은 구매 후 며칠 안에 신청해야 하나요?"
candidates = [
"환불 정책 개요: 당사는 고객 만족을 최우선으로 합니다.",
"교환 및 반품은 고객센터로 문의해 주세요.",
"결제 취소와 환불의 차이를 설명합니다.",
"구매일로부터 7일 이내에 환불을 신청할 수 있습니다.",
]
scores = reranker.predict([(query, doc) for doc in candidates])
ranked = sorted(zip(candidates, scores), key=lambda x: x[1], reverse=True)
for doc, score in ranked:
print(f"{score:.3f} {doc}")predict에 (질문, 문서) 쌍 목록을 넘기면 쌍마다 점수 하나가 나옵니다. 모델마다 점수 스케일(logit인지 0~1인지)이 다르니 절대값보다 순서를 먼저 봅니다.
6-2. 2단계 검색 전체 흐름
import numpy as np
from sentence_transformers import SentenceTransformer, CrossEncoder
embedder = SentenceTransformer("BAAI/bge-m3")
reranker = CrossEncoder("BAAI/bge-reranker-v2-m3")
docs = [...] # 전체 청크 목록
doc_vecs = embedder.encode(docs, normalize_embeddings=True) # 미리 계산
def search(query: str, k1: int = 50, k2: int = 5, min_score: float | None = None):
# 1단계: bi-encoder로 후보 k1개
q = embedder.encode(query, normalize_embeddings=True)
sims = doc_vecs @ q
cand_idx = np.argsort(-sims)[:k1]
# 2단계: cross-encoder로 다시 점수
pairs = [(query, docs[i]) for i in cand_idx]
scores = reranker.predict(pairs, batch_size=16)
order = np.argsort(-scores)[:k2]
results = [(docs[cand_idx[i]], float(scores[i])) for i in order]
if min_score is not None:
results = [r for r in results if r[1] >= min_score]
return results실제 서비스에서는 1단계를 벡터 DB가 맡고, 여기서는 이해를 위해 numpy 내적으로 대신했습니다.
6-3. API 리랭커 (Cohere 예시)
import cohere
co = cohere.ClientV2() # 환경 변수 CO_API_KEY 사용
resp = co.rerank(
model="rerank-v3.5",
query=query,
documents=candidates,
top_n=5,
)
for r in resp.results:
print(r.index, round(r.relevance_score, 3), candidates[r.index])모델 이름과 SDK 사용법은 버전에 따라 바뀌므로 공식 문서를 확인합니다.
6-4. LLM pointwise 리랭킹
import json
from anthropic import Anthropic
client = Anthropic()
MODEL = "claude-haiku-4-5" # 리랭킹에는 작고 빠른 모델이 적합
PROMPT = """질문과 문서가 주어집니다.
문서가 질문에 답하는 데 얼마나 도움이 되는지 0~10 정수로 평가하세요.
JSON으로만 답하세요: {{"score": <정수>}}
질문: {query}
문서: {doc}"""
def llm_score(query: str, doc: str) -> int:
msg = client.messages.create(
model=MODEL,
max_tokens=20,
messages=[{"role": "user", "content": PROMPT.format(query=query, doc=doc)}],
)
try:
return int(json.loads(msg.content[0].text)["score"])
except (ValueError, KeyError, json.JSONDecodeError):
return 0 # 파싱 실패는 최하점 처리
ranked = sorted(candidates, key=lambda d: llm_score(query, d), reverse=True)후보 50개면 LLM 호출 50번입니다. 실제로는 병렬 호출하거나, 여러 문서를 한 프롬프트에 넣는 listwise 방식으로 호출 수를 줄입니다.
7. 지연·비용 트레이드오프
7-1. 어디서 시간이 드는가
전체 응답 시간 = 임베딩 + 1단계 검색 + 리랭킹 + LLM 생성
리랭킹 시간 ≈ 후보 수 × (쌍 하나 처리 시간) / 배치 병렬도리랭킹 시간은 후보 수와 문서 길이에 거의 비례합니다. 후보를 100개에서 30개로 줄이면 리랭킹 시간도 대략 그만큼 줄어듭니다. 정확한 수치는 모델 크기, GPU, 배치 크기에 따라 크게 달라지므로 자기 환경에서 측정해야 합니다.
7-2. 줄이는 방법
| 방법 | 효과 | 대가 |
|---|---|---|
| 1단계 top-k 줄이기 | 리랭킹 연산 감소 | recall 하락 위험 |
| 더 작은 리랭커 모델 | 지연 감소 | 정확도 하락 |
| 문서를 잘라서 넣기 (max_length) | 쌍당 연산 감소 | 문서 뒷부분 정보 손실 |
| 배치 처리, GPU 사용 | 처리량 증가 | 인프라 비용 |
| 자주 나오는 질문 결과 캐싱 | 반복 질문 지연 제거 | 캐시 무효화 관리 |
7-3. 리랭커가 오히려 비용을 줄이는 경우
리랭커를 붙이면 LLM에 넘기는 문서를 20개에서 5개로 줄일 수 있습니다. LLM 입력 토큰 비용이 리랭커 비용보다 크다면 전체 비용은 오히려 내려갑니다. 그러니 리랭커 비용은 파이프라인 전체를 놓고 계산합니다.
8. 언제 쓰고, 언제 쓰지 않는가
8-1. 쓰면 좋은 경우
- 평가해 보니 정답 문서가 top-50 안에는 있는데 top-5 안에는 없는 경우가 많다.
- 문서들이 비슷비슷해서 (같은 제품의 여러 버전 매뉴얼 등) 임베딩으로 구분이 잘 안 된다.
- 하이브리드 검색에서 여러 결과를 합칠 깔끔한 방법이 필요하다.
- LLM 컨텍스트에 넣는 문서 수를 줄여 비용·지연을 낮추고 싶다.
8-2. 쓰지 않아도 되는 경우
- 문서 수가 적어서 전체를 그대로 LLM에 넣어도 된다.
- 정답이 top-50에도 없다. 이때는 리랭커가 아니라 청킹, 임베딩, 쿼리 쪽을 고쳐야 합니다.
- 실시간 자동완성처럼 지연 예산이 수십 ms 수준이다.
- 평가셋이 없다. 리랭커가 실제로 도움이 되는지 확인할 수 없으면 먼저 평가셋부터 만듭니다.
8-3. 진단 순서
정답 문서가 top-50 안에 있나? (recall@50)
├─ 아니오 → 리랭커로 해결 안 됨. 청킹/임베딩/쿼리 변환/하이브리드 검색 개선
└─ 예 → 정답이 top-5 안에 있나? (recall@5)
├─ 아니오 → 리랭커 도입 효과가 클 가능성이 높음
└─ 예 → 리랭커 이득이 작을 수 있음. 비용 대비 효과 측정 후 결정9. 장점과 단점
| 장점 | 설명 |
|---|---|
| 정확도 향상 | 질문과 문서를 함께 읽어 미세한 관련성까지 판단한다 |
| 구조가 단순 | 기존 검색 파이프라인 뒤에 한 단계만 추가하면 된다 |
| 결과 통합 | 여러 검색기의 결과를 하나의 점수 체계로 정렬한다 |
| LLM 비용 절감 | 넘기는 문서 수를 줄여 토큰을 아낀다 |
| 단점 | 설명 |
|---|---|
| 지연 증가 | 후보 수만큼 모델을 실행해야 한다 |
| 운영 부담 | 오픈 모델은 GPU 서빙, API는 비용·데이터 반출 검토가 필요하다 |
| recall은 못 고친다 | 1단계에서 놓친 문서는 되살릴 수 없다 |
| 도메인·언어 의존 | 학습 데이터와 다른 언어·도메인에서는 성능이 떨어질 수 있다 |
10. 핵심 정리
리랭킹은 1단계 검색이 넓게 가져온 후보를 더 정밀한 모델로 다시 정렬하는 2단계 검색이다. Bi-encoder는 질문과 문서를 따로 벡터로 압축해 빠르지만 거칠고, cross-encoder는 둘을 함께 읽어 정확하지만 후보마다 모델을 실행해야 해서 느리다. 그래서 "bi-encoder로 top-50, cross-encoder로 top-5"처럼 역할을 나눈다. 리랭커는 오픈 cross-encoder, API, LLM, ColBERT 중에서 정확도·지연·비용·운영 부담을 보고 고른다. 리랭커는 순서를 바꿀 뿐 놓친 문서를 찾아오지 못하므로, 도입 전에 recall@50과 recall@5를 측정해 정말 순서가 문제인지 먼저 확인한다.