VIBECODING 365 / DICTIONARY

Qwen3 Embedding 8B

Qwen3-Embedding-8B

중급 난이도: 중급태그: Qwen · embedding · 8B

DEFINITION

Qwen3-Embedding-8B는 알리바바 Qwen 팀이 텍스트 임베딩과 순위 작업을 위해 낸 오픈웨이트다. 채팅용 Qwen3와 이름이 비슷해도 답을 생성하는 모델이 아니다. 카드는 베이스를 Qwen3-8B-Base로 두고, 검색·분류·클러스터링·이중언어 문장 채굴에 맞게 학습했다고 한다. 소개는 2025년 6월 5일 Qwen 블로그와 기술 보고 arXiv 2506.05176이다. Hugging Face와 ModelScope에 Apache 2.0으로 올렸다. 임베딩 학습은 약지도 대조, 고품질 지도, 후보 모델 병합의 세 단계라고 블로그가 적는다. 리랭커는 지도 학습만 했다고 한다.

세 크기와 리랭커

임베딩은 0.6B, 4B, 8B 세 장이다. 0.6B는 28층에 기본 차원 1024, 4B와 8B는 36층이며 기본 차원은 각각 2560과 4096이다. 시퀀스 길이는 모두 32K다. 같은 계열에 리랭커 0.6B, 4B, 8B가 있다. 블로그는 임베딩이 한 텍스트의 마지막 EOS 은닉 상태를 벡터로 쓰고, 리랭커는 질의와 문서를 함께 넣어 점수를 낸다고 적는다. LoRA로 베이스의 이해력을 유지하려 했다고도 한다. transformers 예시는 왼쪽 패딩과 마지막 토큰 풀링 뒤 L2 정규화를 보여 준다. 8B는 품질을 우선할 때, 작은 크기는 지연과 메모리를 줄일 때 고른다.

차원을 잘라 쓸 수 있다

8B의 최대 차원은 4096이다. 카드는 마트리시카 표현 학습으로 32부터 4096까지 출력 길이를 고를 수 있다고 적는다. 언어는 100여 개이고, 시리즈 소개는 프로그래밍 언어와 코드 검색도 범위에 넣는다고 한다.

지시문은 쿼리 쪽에

카드는 Instruction Aware다. 제작사 평가는 대부분의 다운스트림에서 지시문을 쓰면 대략 1에서 5퍼센트 나아진다고 한다. 다국어 장면에서는 지시문을 영어로 쓰라고 권한다. 학습에 쓴 지시문이 대개 영어였기 때문이다. 공식 예시는 검색 쿼리에만 작업 설명을 붙이고 문서에는 붙이지 않는다. 쿼리 앞에는 Instruct와 Query 줄을 이어 붙이는 형식을 카드가 보여 준다. transformers 4.51.0 미만에서는 qwen3 키 오류가 날 수 있다고 카드가 경고한다. 사용 예는 sentence-transformers, transformers, vLLM, 텍스트 임베딩 추론 서버가 카드에 있다.

점수에는 날짜가 붙는다

제작사 Highlights는 2025년 6월 5일 기준 MTEB 다국어 리더보드 1위, 점수 70.58이라고 적는다. 같은 카드의 비교표는 다른 모델 점수를 2025년 5월 24일 리더보드에서 가져왔다고 하므로, 표와 Highlights를 섞어 항상 1위라고 쓰지 않는다. 영어 v2 평균 과제 점수는 75.22, 중국어 C-MTEB는 73.84로 카드 표에 있다. 모두 그 스냅샷이다.

이름만 같은 VL 카드

Qwen3-VL-Embedding-8B는 Qwen3-VL 위에 올린 멀티모달 모델이다. 텍스트뿐 아니라 이미지, 스크린샷, 비디오를 받는다. 그 카드는 언어를 30여 개, 차원을 64부터 4096으로 적는다. 텍스트 전용 8B와 가중치를 바꿔 끼우면 안 된다. 추론 클라우드가 같은 이름을 Preview로 올려도 스펙과 라이선스 근거는 Qwen 카드다.

ENGLISH

Qwen3-Embedding-8B

EXAMPLE

SentenceTransformer에 Qwen/Qwen3-Embedding-8B를 넣고, 쿼리는 prompt_name query로 인코딩한다. 문서에는 지시문을 붙이지 않는다.

REFERENCE

huggingface.co/Qwen/Qwen3-Embedding-8B