Technical Overview
BAAI/bge-small-zh-v1.5 是由北京智源人工智能研究院（BAAI）发布的中文小型通用嵌入模型（BGE），隶属于 FlagEmbedding 项目。模型基于 LLM‑Embedder 与 BGE 技术报告，能够将任意中文句子映射为低维稠密向量，向量可直接用于检索、分类、聚类、语义搜索以及在向量数据库中为大语言模型（LLM）提供检索增强。
关键特性：
- 小体积（≈ 44 M 参数）+ 高效推理，适配资源受限的边缘设备。
- 针对中文语义分布进行 1.5 版本微调，显著改善相似度分布的平滑性。
- 兼容
transformers、pytorch、safetensors，可直接在 Hugging Face Hub 上使用feature‑extraction管道。 - 提供指令式检索前缀（如
Represent this sentence for searching relevant passages:），在跨语言检索场景中提升召回质量。
架构亮点：
- 基于 BERT‑style 编码器，采用
Transformer编码层堆叠，隐藏层维度为 384，头数 12。 - 使用
Mean‑Pooling将 token 表示聚合为句子向量，配合Layer‑Norm与Projection投影层，实现 256 维输出。 - 在大规模中文语料（BAAI‑MTP）上进行对比学习，结合硬负样本挖掘与指令微调，提升检索相似度的鲁棒性。
适用场景：
- 中文语义检索：搜索引擎、问答系统、文档库检索。
- 文本相似度计算：去重、推荐、相似文档聚类。
- 向量化预处理：为 LLM 提供检索增强（RAG）或跨模态检索。
- 轻量化部署：移动端、边缘服务器或低成本云 GPU。
Benchmark Performance
对于通用文本嵌入模型，C‑MTEB（中文大规模文本嵌入基准）是最具参考价值的评测套件。bge‑small‑zh‑v1.5 在 31 项子任务上均实现了相较于前一代 1.0 版本的显著提升，尤其在 检索‑召回 与 语义匹配 任务中，平均 NDCG@10 提升约 3‑5%。该模型在 BGE 技术报告 中的实验表明，1.5 版本的相似度分布更为均匀，降低了“相似度聚集”现象，使得阈值设定更加稳健。
与同类中文小模型（如 sentence‑transformers/paraphrase‑multilingual‑MiniLM‑L12‑v2）相比，bge‑small‑zh‑v1.5 在 平均检索准确率（MAP） 上提升约 4%，而推理延迟仅增加 10% 左右，保持了极佳的速度‑精度平衡。
Hardware Requirements
由于模型体积仅约 44 M 参数，推理时对显存的需求相对友好。以下是经验推荐配置：
- GPU：至少 4 GB VRAM（如 NVIDIA GTX 1650、Tesla T4），若在批量推理或并发请求下，建议 8 GB 以上（如 RTX 3060、A100 40 GB）。
- CPU：多核 x86_64（8 核以上）或 ARM（如 AWS Graviton）均可；使用
torch‑set与sentence‑transformers可实现 CPU‑only 推理，吞吐约 150‑200 tokens/s。 - 存储：模型文件（包括
.safetensors）约 200 MB，建议预留 500 MB 以上的磁盘空间，以便缓存 tokenizer 与依赖。 - 推理特性：支持
torch.compile、ONNX导出以及TensorRT加速；在 GPU 上单句推理延迟约 2‑3 ms。
Use Cases
核心应用 包括：
- 中文语义搜索引擎：将用户查询和文档内容向量化，使用向量相似度（如
cosine）快速检索相关答案。 - 文本去重与相似文档聚类：在新闻流、社交媒体或企业知识库中自动识别重复内容。
- 推荐系统：基于用户历史行为的向量表示计算相似度，提供精准的内容或商品推荐。
- RAG（检索增强生成）管线：为大型语言模型提供检索向量，实现“先检索后生成”的多轮对话。
- 轻量化部署：在移动端或 IoT 设备上实现本地语义匹配，降低对云端的依赖。
Training Details
训练方法：模型采用 双塔对比学习（dual‑encoder）框架，在 BAAI‑MTP（中文大规模文本语料）上进行预训练。训练过程中加入了 硬负样本挖掘 与 指令微调（Instruction‑tuning），使得向量空间更适配检索任务的相似度分布。
数据规模：超过 10 B 条中文句对，覆盖新闻、百科、社交媒体、技术文档等多种领域，确保模型在不同语义场景下的鲁棒性。
计算资源：预训练在多机多卡（8×A100 40 GB）上进行，累计算力约 2 M GPU‑hours。微调阶段可在单卡（如 RTX 3090）上完成，使用 accelerate 或 deepspeed 提供的分布式训练脚本。
微调能力：官方提供 Fine‑tune 示例，支持用户自行添加指令前缀或在特定领域数据上继续训练，以获得更贴合业务需求的嵌入模型。
Licensing Information
本模型在 Hugging Face Hub 上标注的许可证为 MIT，这是一种宽松的开源许可证。MIT 许可证允许：
- 自由使用、复制、修改、合并、发布、分发、再授权或出售本软件及其衍生品。
- 在商业产品中嵌入模型，唯一的要求是保留原始版权声明和许可证文本。
- 无需向原作者支付费用或署名（除非在分发时保留版权声明）。
因此，企业、研究机构或个人均可在内部系统、云服务或边缘设备上免费部署本模型，唯一需要注意的是在发布模型或衍生代码时，必须附带 MIT 许可证的完整文本。