【RAG】【embeddings43】Text Embedding Inference 集成案例

案例目标本案例展示如何通过 LlamaIndex 集成 Hugging Face 的 Text Embeddings Inference 服务实现高效的文本向量化功能。Text Embeddings Inference 是 Hugging Face 提供的一个专门用于文本嵌入推理的高性能服务支持多种主流嵌入模型。通过本案例您将学习如何部署和配置 Text Embeddings Inference 服务使用 TextEmbeddingsInference 类连接到推理服务生成高质量的文本嵌入向量使用同步和异步方法处理文本向量化技术栈与核心依赖llama-index-embeddings-text-embeddings-inference Text Embeddings Inference BAAI/bge-large-en-v1.5 Python 3.7核心组件说明TextEmbeddingsInference- LlamaIndex 中用于与 Hugging Face Text Embeddings Inference 服务交互的类BAAI/bge-large-en-v1.5- 北京智源人工智能研究院开发的大型英文嵌入模型Text Embeddings Inference- Hugging Face 提供的高性能文本嵌入推理服务环境配置1. 安装依赖pip install llama-index-embeddings-text-embeddings-inferencepip install llama-index2. 部署 Text Embeddings Inference 服务在使用本案例之前您需要部署 Text Embeddings Inference 服务。详细说明请参考Text Embeddings Inference 官方仓库TEI-Gaudi 仓库如果在 Habana Gaudi/Gaudi 2 上部署3. 配置推理服务部署完成后您需要获取推理服务的端点 URL确认使用的嵌入模型名称根据需要调整超时和批处理大小参数案例实现1. 导入必要模块from llama_index.embeddings.text_embeddings_inference import (TextEmbeddingsInference,)2. 初始化 Text Embeddings Inference 模型embed_model TextEmbeddingsInference(model_nameBAAI/bge-large-en-v1.5, # 用于格式化推理文本的必需参数timeout60, # 超时时间秒embed_batch_size10, # 嵌入批处理大小)注意model_name 参数是必需的用于格式化推理文本。请根据您部署的模型进行相应调整。3. 生成文本嵌入同步方法embeddings embed_model.get_text_embedding(Hello World!)print(len(embeddings))print(embeddings[:5])4. 生成文本嵌入异步方法embeddings await embed_model.aget_text_embedding(Hello World!)print(len(embeddings))print(embeddings[:5])案例效果本案例成功实现了以下功能成功连接到 Text Embeddings Inference 服务生成了 1024 维的高质量文本嵌入向量展示了同步和异步两种文本向量化方法验证了嵌入向量的维度和数值范围输出示例# 嵌入向量维度1024# 嵌入向量的前5个值[0.010597229, 0.05895996, 0.022445679, -0.012046814, -0.03164673]案例实现思路本案例的实现遵循以下思路环境准备安装必要的依赖库部署 Text Embeddings Inference 服务模型初始化使用 TextEmbeddingsInference 类初始化嵌入模型指定模型名称和参数同步处理使用 get_text_embedding 方法对文本进行同步向量化异步处理使用 aget_text_embedding 方法对文本进行异步向量化结果验证检查嵌入向量的维度和数值确保结果正确关键点Text Embeddings Inference 是 Hugging Face 提供的高性能文本嵌入推理服务支持多种主流嵌入模型如 BAAI/bge-large-en-v1.5提供同步和异步两种 API适应不同的应用场景可配置超时时间和批处理大小优化性能扩展建议基于本案例您可以进行以下扩展批量处理使用 get_text_embedding_batch 方法对多个文本进行批量向量化提高处理效率向量存储将生成的嵌入向量存储到向量数据库如 FAISS、Milvus中构建语义搜索系统相似度计算使用生成的向量计算文本之间的相似度实现文档聚类或推荐系统模型比较尝试不同的嵌入模型比较它们在特定任务上的性能服务优化根据实际需求调整推理服务的配置如批处理大小、并发请求限制等多语言支持使用多语言嵌入模型支持多种语言的文本向量化缓存机制实现嵌入向量缓存避免重复计算相同文本的向量总结本案例成功展示了如何使用 LlamaIndex 集成 Hugging Face 的 Text Embeddings Inference 服务实现高效的文本向量化功能。Text Embeddings Inference 作为专门优化的推理服务提供了高性能的文本嵌入能力。通过本案例您学会了如何部署和配置 Text Embeddings Inference 服务如何使用 TextEmbeddingsInference 类初始化嵌入模型如何使用同步和异步方法进行文本向量化如何验证嵌入向量的维度和数值这些技能为构建更复杂的 AI 应用程序如语义搜索、问答系统、文档检索等奠定了基础同时充分利用了 Hugging Face Text Embeddings Inference 的高性能特性。