嵌入向量模型决定了智能体能够看到哪些文本段落。英伟达发布了 Nemotron 3 Embed 模型，专门作用于这一层面。该模型面向生产级 RAG、智能体检索、代码检索以及智能体记忆等场景。
什么是 Nemotron 3 Embed？
该模型系列包含三个开放检查点。Nemotron-3-Embed-8B-BF16 是精度优先的选项。Nemotron-3-Embed-1B-BF16 将相同的设计移植到更小的模型规模中。Nemotron-3-Embed-1B-NVFP4 则是针对 Blackwell 优化的 4 比特路径。
三者均为采用双向注意力掩码训练的 Transformer 编码器。最终的嵌入向量通过对 token 级表示进行平均池化得到。每个检查点的最大序列长度均为 32,768 个 token。
每个模型均在 34 种语言上进行了评估。三者均采用 OpenMDW 许可协议 1.1 版本（OpenMDW-1.1）。值得注意的是，其基础模型均为 Mistral 模型。8B 版本基于 Ministral-3-8B-Instruct-2512 构建。两个 1B 变体均使用 Ministral-3-3B-Instruct-2512。
性能表现
截至 2026 年 7 月 17 日，Nemotron-3-Embed-8B-BF16 在检索嵌入基准测试 RTEB 上总体排名第一。评估涵盖其 16 项公开任务。下表中的所有数值均为模型序列长度 4096 时的平均 NDCG@10。
| 模型 | 参数量 | 嵌入维度 | RTEB | ViDoRe-V3 文本 | MMTEB（检索） |
|---|---|---|---|---|---|
| Nemotron-3-Embed-8B-BF16 | 约 8B | 4096 | 78.46 | 60.60 | 75.45 |
| Nemotron-3-Embed-1B-BF16 | 1.14B | 2048 | 72.38 | 57.74 | 71.04 |
| Nemotron-3-Embed-1B-NVFP4 | 1.14B | 2048 | 72.00 | — | — |
| llama-nemotron-embed-vl-1b-v2 | — | — | 61.98 | 52.54 | 59.71 |
| llama-nemotron-embed-1b-v2 | — | — | 60.47 | 52.10 | 59.58 |
有两个差距值得注意。1B 模型相比上一代基线 llama-nemotron-embed-vl-1b-v2，在 RTEB 上提升了 10.4 分。另外，NVFP4 相比其 BF16 基础模型，仅损失了 0.38 个 RTEB 分数，相当于保留了 99.5% 的性能。
1B 模型是如何构建的？
这些 1B 模型的分数来自一个压缩流程，而非更小规模的训练过程。其基础模型是 nemotron-3-embed-3b，经过两轮迭代的剪枝和知识蒸馏。
首先，使用 NVIDIA ModelOpt 的 mcore_minitron 神经架构搜索（NAS）将 3B 基础模型剪枝至 2B。该搜索覆盖了隐藏层宽度、FFN 大小、注意力头数和深度。然后从排名前 10 的帕累托前沿中选出最佳候选。一个包含 50k 条数据的领域内校准语料库对这些候选进行了评分。
接下来，2B 模型是从微调后的 8B 嵌入向量教师模型中蒸馏出来的。蒸馏过程结合了余弦距离损失（COS）和均方误差损失（MSE）。数据混合集包含多语言和领域内数据。最后，重复相同流程，生成了 1.14B 检查点。
NVFP4 推理服务权衡
压缩随后进入推理服务格式阶段。量化仅针对线性层的权重和激活值，目标数据类型为 NVFP4。研究团队使用了 nvidia-modelopt v0.45.0。随后进行了量化感知蒸馏（QAD），主要目的是在长输入场景下恢复精度。
校准使用了 512 个样本：来自 abisee/cnn_dailymail 的 256 个查询和 256 个段落。QAD 训练使用了 2 万个样本。
研究团队报告称，Blackwell 上的 NVFP4 吞吐量比 BF16 高出 2 倍。它保留了 BF16 检索精度的 99% 以上。NVFP4 卡还支持动态嵌入向量大小。你可以从 2048 维向量的起始位置切分出 1024 或 512 维。之后需要重新归一化。
交互式说明：五阶段检索路径
在接触代码之前，先观察路径的运行过程。它会以动画形式展示前缀添加、双向编码、平均池化、L2 归一化和点积评分。评分来自每张卡片公布的预期输出。
部署矩阵
正如上述演示所暗示的，这些检查点并不共享运行时路径。
| 特性 | 8B-BF16 | 1B-BF16 | 1B-NVFP4 |
|---|---|---|---|
| Transformers / Sentence Transformers | 是 | 是 | 否 |
| 用于 /v2/embed 的 vLLM | 0.25.0 | 0.25.0 | 0.25.0 |
| 微架构 | Ampere, Hopper, Blackwell | Ampere, Hopper, Blackwell | Ampere, Hopper, Lovelace, Blackwell |
| 测试硬件 | A100 80GB, H100 80GB | A100 80GB, H100 80GB | GB200, RTX 6000 PRO, A100, H100, L40, L4 |
| 训练数据 | 5000 万以上样本 | 850 万以上（蒸馏） | 2 万（QAD） |
除了检查点之外，NVIDIA 研究团队还发布了针对 1B 模型的优化版 NIM 微服务。基于 Rust 的 NIM 在 GB200 和 RTX PRO 6000 上达到或超越了 vLLM 检查点的性能。NVIDIA 测试了 256 和 1024 的输入序列长度。此外，NVIDIA NeMo AutoModel 配方涵盖了微调和蒸馏。
在代码中使用它
基于这些思路，前缀优先。查询使用 `query:` 前缀，文档使用 `passage:` 前缀。嵌入向量经过 L2 归一化处理，因此点积等于余弦相似度。
# pip install --upgrade "transformers>=5.2.0" "sentence-transformers>=5.4.1"
import torch
from sentence_transformers import SentenceTransformer
QUERIES = ["How can someone reduce exposure to pollen during allergy season?"]
DOCUMENTS = ["People with pollen allergy can reduce exposure by staying indoors "
"on dry, windy days, avoiding early-morning outdoor activity, and "
"going outside after rain when pollen levels are lower."]
model = SentenceTransformer(
"nvidia/Nemotron-3-Embed-8B-BF16",
device="cuda",
model_kwargs={"dtype": torch.bfloat16,
# use "sdpa" if FlashAttention-2 is unavailable
"attn_implementation": "flash_attention_2"},
processor_kwargs={"padding_side": "left"},
)
model.max_seq_length = 32768
q = model.encode_query(QUERIES, batch_size=1, convert_to_tensor=True)
d = model.encode_document(DOCUMENTS, batch_size=1, convert_to_tensor=True)
print(model.similarity(q, d)) # card's published q[3]/d[3] score: 0.8008`encode_query` 和 `encode_document` 会读取已保存的提示词。因此你无需手动添加前缀。在服务端，`/v2/embed` 会根据 `input_type` 自动应用这些前缀：
vllm serve nvidia/Nemotron-3-Embed-1B-NVFP4 \
--max-model-len 4096 \
--max-num-batched-tokens 4096 \
--max-cudagraph-capture-size 4096import numpy as np, requests
def embed(input_type: str, texts: list[str]) -> np.ndarray:
r = requests.post(
"http://localhost:8000/v2/embed",
json={"model": "nvidia/Nemotron-3-Embed-1B-NVFP4",
"input_type": input_type, # "query" or "document"
"texts": texts,
"embedding_types": ["float"],
"truncate": "END"},
timeout=120,
)
r.raise_for_status()
return np.array(r.json()["embeddings"]["float"], dtype=np.float32)
scores = embed("query", QUERIES) @ embed("document", DOCUMENTS).T应用场景与示例
- 多语言企业搜索：支持团队将印地语、日语和英语的工单统一建立索引。由于检索是跨语言的，德语查询可以找到日语编写的解决方案记录。
- 代码检索：训练数据包含 `coir_apps`、`coir_cosqa`、`synthetic_text2sql` 以及 SWE-bench。因此，自然语言到代码的查找更接近分布内场景。
- 智能体记忆：32,768 个 token 的限制让智能体能够嵌入较长的对话摘要，而无需进行激进的切分。
- 成本分层 RAG：使用 1B-NVFP4 模型处理高容量召回，将困难查询路由至 8B 模型。由于维度不同，这需要两个索引。
关键要点
- Nemotron-3-Embed-8B-BF16 在 RTEB 基准测试中排名第一，平均 NDCG@10 达到 78.46。
- 提供了三个开放检查点，涵盖 8B BF16、1B BF16 和 1B NVFP4。
- NVFP4 在 Blackwell 架构上吞吐量提升高达 2 倍的同时，保留了 BF16 精度 99% 以上的性能。
- 1B 模型通过 ModelOpt NAS 剪枝，并结合从 8B 模型进行的 COS+MSE 知识蒸馏得到。
- 所有检查点均使用 OpenMDW-1.1 数据集，并支持 32,768 个 token 的输入。