임베딩 (Embedding, 임베딩)
2026.10.03 · 19분
1. 임베딩이란?
임베딩(Embedding)은 텍스트, 이미지 같은 데이터를 의미가 담긴 숫자 벡터(실수 배열)로 바꾸는 것입니다. 이 변환을 해 주는 신경망을 임베딩 모델이라고 부릅니다.
"강아지가 공원에서 뛰어논다"
│
▼
┌──────────────┐
│ 임베딩 모델 │
└──────┬───────┘
▼
[0.021, -0.113, 0.087, ..., 0.004] ← 예: 1024개의 실수의미가 비슷한 텍스트는 비슷한 벡터가 됩니다.
"강아지가 공원에서 뛰어논다" → A
"개가 잔디밭에서 놀고 있다" → B (A와 가깝다)
"분기 매출이 12% 감소했다" → C (A, B와 멀다)A와 B는 겹치는 단어가 거의 없습니다. 그래도 벡터 공간에서는 가깝게 놓입니다. 이 성질 덕분에 단어가 일치하지 않아도 뜻이 비슷한 문서를 찾을 수 있고, 이것이 RAG에서 검색(Retrieval)의 기본 재료가 됩니다.
임베딩이 하는 일은 이렇게 요약할 수 있습니다.
의미를 좌표로 바꿔서, 의미의 거리를 숫자로 잴 수 있게 만든다.
2. 왜 임베딩이 필요할까?
2-1. 키워드 검색의 한계
사내 문서에서 "연차 쓰는 법"을 검색한다고 해 봅시다.
질문: "연차 쓰는 법"
문서1: "휴가 신청 절차: 그룹웨어 > 근태 > 휴가 신청 메뉴에서..."
문서2: "연차 수당 정산 기준은 매년 1월에..."키워드 검색은 "연차"라는 글자가 들어 있는 문서2를 먼저 찾습니다. 하지만 사용자가 원하는 건 문서1입니다. "연차 쓰는 법"과 "휴가 신청 절차"는 글자는 다르지만 뜻은 같습니다.
다만 고유명사, 에러 코드, 제품 번호처럼 정확히 일치해야 하는 경우에는 키워드 검색이 더 강합니다. 이 내용은 BM25 노트에서 자세히 다룹니다.
2-2. 컴퓨터는 "뜻"을 비교할 수 없다
컴퓨터가 잘하는 건 숫자 계산입니다. 문자열 "강아지"와 "개"는 바이트가 완전히 다르므로 문자열 비교로는 관계를 알 수 없습니다. 임베딩은 뜻을 숫자로 바꿔서 덧셈, 곱셈, 거리 계산으로 의미를 다룰 수 있게 해 줍니다.
2-3. 임베딩이 쓰이는 곳
| 용도 | 예시 |
|---|---|
| 의미 검색 | RAG의 문서 검색, 사내 위키 검색 |
| 추천 | 비슷한 상품, 비슷한 글 추천 |
| 분류 | 문의 유형 자동 분류 (벡터 + 간단한 분류기) |
| 군집화 | 리뷰를 주제별로 묶기 |
| 중복 탐지 | 비슷한 질문, 중복 티켓 찾기 |
| 이상 탐지 | 다른 것들과 동떨어진 로그, 문서 찾기 |
3. 의미 공간 직관
3-1. 2차원으로 상상하기
실제 임베딩은 수백~수천 차원이지만, 2차원으로 줄여서 상상하면 이렇습니다.
동물 ▲
│ ● 강아지
│ ● 개 ● 고양이
│
│ ● 자동차
│ ● 트럭
│
│ ● 사과
│ ● 배(과일)
└──────────────────────────────▶ 탈것비슷한 개념끼리 모여 있고, 다른 개념은 멀리 떨어져 있습니다. 이렇게 의미가 좌표로 표현된 공간을 의미 공간(Semantic Space) 또는 임베딩 공간이라고 부릅니다.
3-2. 각 차원은 사람이 읽을 수 있는 뜻이 아니다
위 그림의 축에는 "동물", "탈것"이라는 이름을 붙였지만, 실제 임베딩의 각 차원에는 사람이 해석할 수 있는 이름이 없습니다. 312번째 숫자가 "동물다움"을 뜻하는 식이 아닙니다. 의미는 여러 차원에 흩어져 표현되고, 우리가 볼 수 있는 건 벡터끼리의 상대적인 거리뿐입니다.
그래서 임베딩은 두 벡터를 비교하는 방식으로 사용합니다.
3-3. 단어 임베딩에서 문장 임베딩으로
| 세대 | 대표 예 | 단위 | 특징 |
|---|---|---|---|
| 단어 임베딩 | Word2Vec, GloVe | 단어 하나 | 문맥과 상관없이 단어마다 벡터가 하나. "배(과일)"와 "배(선박)"가 같은 벡터 |
| 문맥 임베딩 | BERT 계열 | 문맥 속 토큰 | 같은 단어도 문맥에 따라 벡터가 달라짐 |
| 문장 임베딩 | Sentence-BERT, E5, BGE, OpenAI 임베딩 | 문장·문단 | 텍스트 덩어리 전체를 벡터 하나로. 검색용으로 학습됨 |
RAG에서 쓰는 것은 문장(문단) 임베딩입니다. 문서를 적당한 크기로 자른 조각(청크) 하나를 벡터 하나로 바꿉니다. 어떻게 자를지는 RAG 청킹 노트에서 다룹니다.
3-4. 검색용 임베딩은 "질문과 답이 가깝게" 학습된다
검색용 임베딩 모델은 보통 대조 학습(Contrastive Learning)으로 학습합니다. (질문, 정답 문단) 쌍은 가깝게, (질문, 관계없는 문단) 쌍은 멀게 만드는 방향으로 학습합니다.
학습 데이터 예
질문: "비밀번호를 잊어버렸어요"
정답: "로그인 화면의 '비밀번호 찾기'를 누르면 이메일로..." → 가깝게
오답: "회원 등급은 구매 금액에 따라..." → 멀게그래서 질문과 문서의 문장 형태가 달라도(의문문 vs 설명문) 서로 가깝게 놓일 수 있습니다. 일부 모델은 이 차이를 더 잘 다루기 위해 질문과 문서에 서로 다른 접두어를 붙이도록 요구합니다 (7-4 참고).
4. 유사도 측정: 코사인, 내적, 유클리드
두 벡터가 얼마나 비슷한지 재는 방법은 크게 세 가지입니다.
4-1. 코사인 유사도 (Cosine Similarity)
두 벡터 사이의 각도를 봅니다. 방향이 같으면 1, 직각이면 0, 반대면 -1입니다.
cos(A, B) = (A · B) / (|A| × |B|) B
↗
/ θ θ가 작을수록 비슷하다
●──────→ A벡터의 길이는 무시하고 방향만 봅니다. 텍스트 임베딩에서 가장 많이 쓰는 기준입니다.
4-2. 내적 (Dot Product, Inner Product)
A · B = a1×b1 + a2×b2 + ... + an×bn방향과 길이 둘 다 반영합니다. 길이가 긴 벡터는 점수가 커집니다. 모델에 따라 길이에 의미(예: 인기도, 정보량)를 담도록 학습한 경우 내적을 쓰라고 권장하기도 합니다.
4-3. 유클리드 거리 (Euclidean Distance, L2)
d(A, B) = √((a1-b1)² + (a2-b2)² + ... + (an-bn)²)두 점 사이의 직선 거리입니다. 작을수록 비슷합니다. 코사인, 내적은 클수록 비슷하다는 점과 방향이 반대이니 주의해야 합니다.
4-4. 정규화하면 셋이 사실상 같아진다
벡터의 길이를 1로 맞추는 것을 L2 정규화(Normalization)라고 합니다. 정규화된 벡터끼리는 다음 관계가 성립합니다.
|A| = |B| = 1 일 때
코사인 유사도 = A · B (분모가 1이 되므로)
유클리드 거리² = |A|² + |B|² - 2(A · B) = 2 - 2 × cos(A, B)정규화된 벡터라면 코사인, 내적, 유클리드 거리의 순위가 같습니다. 가장 가까운 문서 10개를 뽑으면 셋 다 같은 결과가 나옵니다. 그래서 실무에서는 보통 다음처럼 합니다.
- 저장할 때 벡터를 정규화한다.
- 검색할 때는 계산이 가장 싼 내적을 쓴다.
OpenAI 임베딩처럼 모델이 이미 길이 1로 정규화된 벡터를 돌려주는 경우도 있습니다. 모델 문서를 확인하고, 확실하지 않으면 직접 정규화하는 편이 안전합니다.
4-5. 비교표
| 기준 | 범위 | 비슷할수록 | 길이 반영 | 주로 쓰는 경우 |
|---|---|---|---|---|
| 코사인 유사도 | -1 ~ 1 | 크다 | X | 텍스트 임베딩 기본값 |
| 내적 | 제한 없음 | 크다 | O | 정규화된 벡터, 또는 모델이 내적용으로 학습된 경우 |
| 유클리드 거리 | 0 이상 | 작다 | O | 이미지 특징 벡터, 일부 벡터 DB 기본값 |
4-6. 코드로 확인하기
import numpy as np
a = np.array([3.0, 4.0])
b = np.array([6.0, 8.0]) # a와 방향은 같고 길이만 2배
c = np.array([4.0, -3.0]) # a와 직각
def cosine(x, y):
return x @ y / (np.linalg.norm(x) * np.linalg.norm(y))
print(cosine(a, b)) # 1.0 (방향이 같다)
print(cosine(a, c)) # 0.0 (직각)
print(a @ b) # 50.0 (내적은 길이 때문에 커진다)
print(np.linalg.norm(a - b)) # 5.0 (유클리드로는 꽤 멀다)
def normalize(x):
return x / np.linalg.norm(x)
an, bn = normalize(a), normalize(b)
print(an @ bn) # 1.0 (정규화 후 내적 = 코사인)
print(np.linalg.norm(an - bn)) # 0.0 (정규화 후 거리도 0)길이만 다른 a와 b는 코사인으로 보면 완전히 같지만, 유클리드로 보면 거리가 5나 됩니다. 정규화하면 이 차이가 사라집니다.
5. 임베딩으로 검색해 보기
5-1. 전체 흐름
[색인 단계: 미리 한 번]
문서들 ──> 청크로 자르기 ──> 임베딩 모델 ──> 벡터 저장 (벡터 DB 등)
[검색 단계: 질문마다]
질문 ──> 같은 임베딩 모델 ──> 질문 벡터
│
▼
저장된 벡터들과 유사도 계산 ──> 상위 k개 문서문서와 질문은 반드시 같은 임베딩 모델로 변환해야 합니다. 모델이 다르면 좌표계 자체가 다르기 때문에 거리 비교가 의미가 없습니다. 모델을 바꾸면 모든 문서를 다시 임베딩해야 합니다.
5-2. sentence-transformers로 검색하기
from sentence_transformers import SentenceTransformer
import numpy as np
model = SentenceTransformer("BAAI/bge-m3") # 다국어 지원 모델
docs = [
"휴가 신청은 그룹웨어 > 근태 > 휴가 신청 메뉴에서 할 수 있습니다.",
"연차 수당은 매년 1월 급여에 함께 정산됩니다.",
"사내 카페는 오전 8시부터 오후 6시까지 운영합니다.",
]
doc_vecs = model.encode(docs, normalize_embeddings=True) # (3, 1024)
query_vec = model.encode("연차 쓰는 법", normalize_embeddings=True)
scores = doc_vecs @ query_vec # 정규화했으므로 내적 = 코사인
for i in np.argsort(-scores):
print(f"{scores[i]:.3f} {docs[i]}")normalize_embeddings=True로 정규화했기 때문에 내적 한 번으로 코사인 유사도를 얻습니다. 실제 점수는 모델마다 다르지만, "휴가 신청" 문서가 위로 올라오는 것을 기대할 수 있습니다.
5-3. API로 임베딩 받기
from openai import OpenAI
import numpy as np
client = OpenAI()
resp = client.embeddings.create(
model="text-embedding-3-small",
input=["휴가 신청 절차", "연차 쓰는 법"],
)
a, b = (np.array(d.embedding) for d in resp.data)
print(len(a), a @ b) # 벡터 길이, 유사도API 방식은 GPU가 필요 없고 바로 쓸 수 있지만, 호출할 때마다 비용이 들고 문서가 외부로 나갑니다. 사내 보안 정책상 문서를 외부 API로 보낼 수 없다면 오픈소스 모델을 직접 띄워야 합니다.
5-4. 문서가 많아지면?
위 예제는 문서 3개와 질문 하나를 전부 비교했습니다. 문서가 수백만 개가 되면 질문마다 수백만 번 내적을 계산해야 하므로 느려집니다. 이 문제는 벡터 데이터베이스와 근사 최근접 이웃(ANN) 검색으로 풉니다. 자세한 내용은 벡터 DB 노트에서 다룹니다.
6. 임베딩 모델의 주요 스펙
모델을 고를 때 확인할 항목입니다.
6-1. 차원 수 (Dimension)
벡터 하나가 몇 개의 숫자로 이루어지는지입니다. 보통 384, 768, 1024, 1536, 3072 같은 값입니다.
| 차원이 크면 | 차원이 작으면 |
|---|---|
| 미묘한 의미 차이를 더 담을 여지가 있다 | 저장 공간, 메모리가 적게 든다 |
| 저장, 검색 비용이 커진다 | 검색이 빠르다 |
| 반드시 성능이 좋은 건 아니다 | 품질이 떨어질 수 있다 |
저장 공간은 단순 계산으로 가늠할 수 있습니다.
float32 1개 = 4바이트
1,000,000개 청크 × 1024차원 × 4바이트 ≈ 4.1GB
1,000,000개 청크 × 3072차원 × 4바이트 ≈ 12.3GB
(인덱스 오버헤드는 별도)일부 모델은 차원을 줄여서 쓸 수 있게 학습되어 있습니다(Matryoshka Representation Learning 방식). 예를 들어 OpenAI text-embedding-3 계열은 dimensions 파라미터로 더 짧은 벡터를 받을 수 있습니다. 차원을 줄이면 품질이 조금 떨어지는 대신 비용이 크게 줄어듭니다.
6-2. 최대 입력 토큰 (Max Tokens)
모델이 한 번에 받을 수 있는 텍스트 길이입니다. 이 길이를 넘는 부분은 잘려서 무시되거나 에러가 납니다.
| 모델 예 | 최대 입력 | 차원 |
|---|---|---|
| intfloat/multilingual-e5-large | 512 토큰 | 1024 |
| BAAI/bge-m3 | 8192 토큰 | 1024 |
| OpenAI text-embedding-3-small | 8191 토큰 | 1536 (축소 가능) |
| OpenAI text-embedding-3-large | 8191 토큰 | 3072 (축소 가능) |
최대 토큰이 길다고 해서 긴 문서를 통째로 넣는 게 좋은 건 아닙니다. 긴 텍스트를 벡터 하나로 압축하면 여러 주제가 섞여서 어느 주제와도 애매하게 비슷한 벡터가 됩니다. 그래서 RAG에서는 보통 수백 토큰 단위로 잘라서(청킹) 임베딩합니다.
6-3. 다국어와 한국어
영어 위주로 학습된 모델은 한국어 문장을 제대로 구분하지 못할 수 있습니다. 한국어 문서를 다룬다면 다음을 확인합니다.
- 모델 카드에 multilingual 지원 여부와 학습 언어가 적혀 있는가
- 한국어 질문으로 한국어 문서를 찾는 실제 테스트에서 잘 되는가
- 한국어 질문으로 영어 문서를 찾아야 하는가 (교차 언어 검색, Cross-lingual)
한국어에서 자주 쓰이는 선택지는 다국어 모델(BGE-M3, multilingual-E5 계열, 상용 API의 다국어 모델)이나, 이런 모델을 한국어 데이터로 추가 학습한 모델입니다. 어떤 모델이 가장 좋은지는 계속 바뀌므로, 아래 리더보드와 자기 데이터 테스트로 확인하는 게 맞습니다.
토큰 수도 주의해야 합니다. 같은 내용이라도 한국어는 토크나이저에 따라 영어보다 토큰이 더 많이 나오는 경우가 많습니다. 최대 토큰과 비용을 계산할 때 영어 기준 감각을 그대로 쓰면 안 됩니다.
6-4. MTEB 리더보드
MTEB(Massive Text Embedding Benchmark)는 임베딩 모델을 검색, 분류, 군집화, 문장 유사도 등 여러 과제로 평가하는 벤치마크입니다. Hugging Face에서 리더보드를 운영하며, 다국어 확장판(MMTEB)도 있습니다.
리더보드를 볼 때 주의할 점입니다.
| 주의할 점 | 이유 |
|---|---|
| 평균 점수보다 Retrieval 점수를 본다 | RAG에 필요한 건 검색 성능이다. 분류, 군집화 점수가 평균을 끌어올릴 수 있다 |
| 언어별 점수를 본다 | 영어 1등이 한국어에서도 1등이라는 보장이 없다 |
| 모델 크기, 차원, 최대 토큰을 같이 본다 | 점수가 조금 높아도 너무 무거우면 운영이 힘들다 |
| 라이선스를 확인한다 | 상업적 사용이 제한된 모델이 있다 |
| 최종 판단은 내 데이터로 한다 | 벤치마크 데이터와 사내 문서는 분포가 다르다 |
6-5. 내 데이터로 간단히 비교하기
리더보드보다 확실한 건 직접 비교입니다. 질문과 정답 문서 쌍을 20~50개만 만들어도 차이가 꽤 보입니다.
from sentence_transformers import SentenceTransformer
import numpy as np
# (질문, 정답 문서 인덱스)
qa = [("연차 쓰는 법", 0), ("카페 몇 시까지 해요?", 2)]
docs = ["휴가 신청은 그룹웨어에서...", "연차 수당은 1월에...", "사내 카페는 오후 6시까지..."]
def hit_rate_at_k(model_name, k=1):
m = SentenceTransformer(model_name)
d = m.encode(docs, normalize_embeddings=True)
hits = 0
for q, answer in qa:
s = d @ m.encode(q, normalize_embeddings=True)
hits += answer in np.argsort(-s)[:k]
return hits / len(qa)
for name in ["BAAI/bge-m3", "intfloat/multilingual-e5-large"]:
print(name, hit_rate_at_k(name))이건 가장 단순한 형태이고, 체계적인 평가 지표(Recall@k, MRR, nDCG 등)는 RAG 평가 노트에서 다룹니다. 참고로 E5 계열은 아래 7-4의 접두어 규칙을 지켜야 제 성능이 나옵니다.
7. 실무에서 주의할 점
7-1. 정규화 여부를 일관되게
색인할 때는 정규화하고 검색할 때는 안 하면 점수가 엉망이 됩니다. 저장과 검색에서 같은 전처리를 거치도록 한 함수로 묶어 두는 게 좋습니다.
def embed(texts):
return model.encode(texts, normalize_embeddings=True)7-2. 모델과 버전을 메타데이터로 남긴다
모델을 바꾸면 전체 재임베딩이 필요합니다. 어떤 벡터가 어떤 모델로 만들어졌는지 모르면 섞여 버립니다.
{ "chunk_id": "doc-12#3", "embedding_model": "bge-m3", "dim": 1024, ... }7-3. 유사도 점수의 절댓값을 믿지 않는다
코사인 유사도 0.8이 "꽤 비슷하다"는 뜻인지는 모델마다 다릅니다. 어떤 모델은 관계없는 문장끼리도 0.7이 나오고, 어떤 모델은 거의 같은 문장도 0.6이 나옵니다. "0.75 이상만 사용" 같은 기준을 정하려면 그 모델로 실제 분포를 보고 정해야 합니다. 모델을 바꾸면 기준도 다시 정합니다.
7-4. 모델이 요구하는 입력 형식을 지킨다
일부 모델은 질문과 문서에 접두어나 지시문을 붙이도록 학습되었습니다. 예를 들어 E5 계열은 질문에 "query: ", 문서에 "passage: "를 붙이도록 안내합니다.
q = model.encode("query: 연차 쓰는 법", normalize_embeddings=True)
d = model.encode(["passage: 휴가 신청은 그룹웨어에서..."], normalize_embeddings=True)이 규칙을 빼먹으면 에러 없이 성능만 떨어집니다. 모델 카드의 사용법을 꼭 읽어야 합니다.
7-5. 임베딩이 약한 부분을 안다
| 약한 부분 | 예 |
|---|---|
| 정확한 문자열 일치 | 에러 코드 E-4021, 주문번호, 사번 |
| 드문 고유명사, 신조어 | 사내 프로젝트 코드명, 학습 데이터에 없던 제품명 |
| 부정, 숫자 | "환불 가능"과 "환불 불가"가 가깝게 나올 수 있음 |
| 긴 문서 전체 요약 | 여러 주제가 섞인 긴 텍스트 |
이런 약점 때문에 실무에서는 BM25 같은 키워드 검색과 함께 쓰는 하이브리드 검색, 검색 결과를 다시 정렬하는 리랭킹을 붙이는 경우가 많습니다. 각각 별도 노트에서 다룹니다.
8. 비용
8-1. API 방식
비용은 입력 토큰 수에 비례합니다.
총 비용 ≈ (색인할 전체 토큰 수 + 질문 토큰 수 × 질문 횟수) × 토큰당 단가- 색인 비용은 처음 한 번 + 문서가 바뀔 때만 듭니다. 바뀐 청크만 다시 임베딩하도록 만들면 크게 줄어듭니다.
- 질문 임베딩은 질문이 짧아서 보통 비용 비중이 작습니다.
- 단가는 모델과 시점마다 다르므로 공식 가격표를 확인합니다. 일반적으로 같은 회사 안에서는 작은 모델이 큰 모델보다 훨씬 쌉니다.
- 많은 양을 한 번에 처리할 때는 배치 API처럼 더 싼 처리 방식이 있는지 확인합니다.
8-2. 직접 호스팅 방식
| 항목 | 내용 |
|---|---|
| 호출 비용 | 없음 |
| 인프라 비용 | GPU 서버 (CPU로도 돌릴 수 있지만 대량 처리는 느림) |
| 운영 비용 | 모델 서빙, 배포, 모니터링, 장애 대응 |
| 장점 | 데이터가 외부로 나가지 않는다, 대량 처리 시 단가가 낮아질 수 있다 |
8-3. 숨은 비용: 저장과 검색
임베딩 생성 비용보다 벡터를 저장하고 검색하는 비용이 더 클 때도 있습니다. 차원이 두 배면 메모리도 두 배입니다. 6-1의 계산처럼 미리 용량을 가늠해 보고, 필요하면 더 작은 차원이나 양자화(벡터 압축)를 검토합니다.
9. 임베딩 모델 선택 순서
1. 데이터를 외부 API로 보내도 되는가?
└─ 안 된다 → 오픈소스 모델 직접 호스팅
2. 주 언어는? 한국어 / 다국어 / 교차 언어 검색이 필요한가?
└─ 다국어 지원 모델로 후보를 좁힌다
3. 청크 길이에 비해 최대 토큰이 충분한가?
4. MTEB에서 Retrieval, 해당 언어 점수가 괜찮은 후보 2~4개를 고른다
5. 내 데이터로 질문-정답 쌍을 만들어 직접 비교한다
6. 차원, 속도, 비용을 함께 보고 결정한다10. 장점과 단점
| 장점 | 설명 |
|---|---|
| 뜻으로 검색한다 | 단어가 달라도 의미가 비슷하면 찾는다 |
| 동의어, 바꿔 말하기에 강하다 | "연차 쓰는 법" ↔ "휴가 신청 절차" |
| 다국어 검색이 가능하다 | 다국어 모델이면 한국어 질문으로 영어 문서를 찾을 수 있다 |
| 범용적이다 | 검색, 추천, 분류, 군집화에 같은 벡터를 재사용한다 |
| 단점 | 설명 |
|---|---|
| 정확한 일치에 약하다 | 코드, 번호, 드문 고유명사 |
| 설명하기 어렵다 | 왜 이 문서가 나왔는지 사람이 이해하기 어렵다 |
| 모델에 묶인다 | 모델을 바꾸면 전체 재임베딩이 필요하다 |
| 비용이 든다 | 임베딩 생성, 저장, 검색 인프라 |
| 점수 기준이 모델마다 다르다 | 임계값을 모델마다 다시 정해야 한다 |
10-1. 언제 임베딩 검색만으로 부족한가?
- 사용자가 정확한 용어, 코드, 이름으로 검색하는 경우가 많다 → 키워드 검색(BM25)을 함께 쓴다
- 상위 결과의 순서가 중요하다 → 리랭커를 붙인다
- 문서가 적고 구조가 명확하다 → 임베딩 없이 목차나 키워드 기반으로 찾는 방식(Vectorless RAG)도 검토한다
11. 핵심 정리
임베딩은 텍스트를 의미가 담긴 벡터로 바꿔서, 의미의 가까움을 숫자로 계산할 수 있게 하는 기술이다. 벡터끼리는 코사인 유사도, 내적, 유클리드 거리로 비교하는데, 길이 1로 정규화하면 세 기준의 순위가 같아지므로 보통 정규화한 뒤 내적을 쓴다. 문서와 질문은 반드시 같은 모델로 임베딩해야 하고, 모델을 바꾸면 전체를 다시 임베딩해야 한다. 모델은 차원, 최대 토큰, 한국어 지원, MTEB의 Retrieval 점수를 보고 후보를 고른 뒤 내 데이터로 직접 비교해 결정한다. 임베딩은 뜻으로 찾는 데 강하지만 정확한 코드나 고유명사에는 약하므로, 실무에서는 키워드 검색이나 리랭킹과 함께 쓰는 경우가 많다.