Dell 的 RAG Chatbot 蓝图将 meta-llama/Llama-3.1-8B-Instruct 列为经过验证、适用于 Gaudi 硬件的模型。该蓝图介绍了一款用于基于文档进行问答的全栈检索增强生成应用,结合了基于 FastAPI 和 LangChain 的后端、FAISS 和 AI 模型,以及基于 React + Vite + Tailwind CSS 的前端。该系统支持 PDF 上传、文档处理、嵌入生成、相似度搜索,以及由大型语言模型基于上下文生成回复。
RAG Chatbot 蓝图连接文档检索与 LLM 回复
RAG Chatbot 蓝图介绍了一种可用于生产环境的架构,用于回答有关已上传文档的问题。用户通过拖放界面上传 PDF,随后后端会拆分文本、将其转换为嵌入,并将嵌入存储在 FAISS 向量数据库中。在聊天交互过程中,用户查询会触发相似度搜索,为大型语言模型提供相关上下文,以生成综合回复。
该项目可与云托管 API 或本地模型端点集成。据介绍,它适用于研究、企业和教育环境。
FastAPI 后端和 React 前端构成服务架构
该架构由运行在 3000 端口上的 React Web UI 和运行在 5001 端口上的 FastAPI 后端组成。React 界面提供 PDF 上传、实时聊天、响应式设计和实时状态更新。FastAPI 后端负责预处理、嵌入、向量存储、检索、LLM 编排、身份验证和健康检查。
后端包含由 LangChain 驱动的文档处理、用于相似度搜索的 FAISS-CPU 向量存储、用于嵌入和 LLM 的企业推理端点、推理 API 的基于令牌的身份验证、文件验证和大小限制、CORS 支持、健康检查端点,以及由路由和服务组成的模块化架构。前端支持拖放式 PDF 上传、实时聊天界面、Tailwind CSS、Vite、实时状态更新和适配移动设备的设计。
Docker Compose 部署使用企业推理端点
该蓝图要求安装 Docker 和 Docker Compose,并能够访问企业推理端点,例如支持基于令牌身份验证的 GenAI Gateway 或 APISIX Gateway。配置使用根目录下的 .env 文件设置 Docker Compose 变量,并使用 api/.env 文件配置后端应用。这些设置定义模型名称、端点 URL、令牌、SSL 设置和可选的本地域名映射。
部署时使用 docker compose up 启动 UI 和后端服务。API 可通过 http://localhost:5001 访问,UI 可通过 http://localhost:3000 访问。该蓝图还提供诊断命令和健康检查,用于验证运行状态。
对于 APISIX/Keycloak 部署,模型名称必须包含在端点 URL 中,https://apisix-gateway.example.com/Llama-3.1-8B-Instruct 是一个示例。嵌入服务使用单独的端点,https://apisix-gateway.example.com/bge-base-en-v1.5 是嵌入模型的一个示例。
RAG Chatbot 蓝图列出经过验证的模型和硬件
该蓝图列出了经过验证的 RAGChatbot 模型,并说明其适配的硬件平台。
- meta-llama/Llama-3.1-8B-Instruct 已通过 Gaudi 硬件验证。
- BAAI/bge-base-en-v1.5(嵌入)已通过 Gaudi 硬件验证。
- Qwen/Qwen3-4B-Instruct 已通过 Xeon 硬件验证。
- React Web UI 运行在 3000 端口上。
- FastAPI 后端运行在 5001 端口上。
- 该应用使用 FAISS-CPU 进行向量存储和相似度搜索。
常见问题
Dell RAG Chatbot 蓝图验证了哪个 Llama 模型?
该蓝图将 meta-llama/Llama-3.1-8B-Instruct 列为经过验证、适用于 Gaudi 硬件的模型。
RAG Chatbot 使用哪些组件进行基于文档的问答?
该系统结合了 FastAPI 后端、LangChain、FAISS、AI 模型,以及 React + Vite + Tailwind CSS 前端。它会处理上传的 PDF、创建嵌入、将嵌入存储在 FAISS 向量数据库中、检索相关上下文,并将该上下文发送给大型语言模型以生成回复。
RAG Chatbot 服务使用哪些端口?
React Web UI 运行在 3000 端口上,FastAPI 后端运行在 5001 端口上。