Mistral 搜索工具包快速入门:构建并查询混合索引

关键要点

  • Mistral Search Toolkit 快速入门需要 Python 3.12 或更高版本、Mistral API 密钥,以及启用了搜索索引以执行混合查询操作的工作区。
  • 示例使用 MistralEmbeddingPreset.MISTRAL_EMBED_DIM_1024 嵌入模型,该模型在创建索引后不可更改,并决定物理列类型。
  • Mistral Search Toolkit 通过 RRFRetriever 和倒数排名融合,将 KeywordRetriever 与 NearestNeighbourRetriever 结合使用,两个检索器的 top_k 均为 5。

Mistral 的 Search Toolkit 快速入门演示了如何创建搜索索引、摄取文档并运行带筛选条件的混合查询。此工作流需要 Mistral API 密钥、Python 3.12 或更高版本、uv,以及启用了搜索索引的工作区。完成后,索引即可供智能体或工作流使用。

Mistral Search Toolkit 设置索引的前置条件

快速入门使用 Search Toolkit 客户端操作搜索索引,并安装 mistralai-search-toolkit>=0.1.0。API 密钥在 Mistral Console 中生成,且只能查看一次。创建索引需要工作区拥有 create_search_indexes 权限;没有此权限时,创建操作会返回 403。创建者将成为索引所有者,可以查看、查询、摄取、修改和删除该索引。对现有索引的访问遭拒时会报告为 404,而非 403。

Mistral 搜索索引使用类型化字段和不可变的嵌入模型

示例定义了 Article 文档和 ArticleChunk 分块。添加到基础模型中的字段会成为索引字段,其线上类型会根据 Python 注解推断,除非由 MistralSearchIndexField 覆盖。示例将 page_number 设为索引 INT,将 product 设为 KEYWORD,从而可以根据 product 字段进行精确筛选。

架构通过 MistralSearchIndexCollectionSchema.from_document_type 根据 Article 模型派生。示例选择 MistralEmbeddingPreset.MISTRAL_EMBED_DIM_1024。索引创建时会异步配置底层表,因此脚本会持续轮询,直到状态变为 READY。创建后无法更改嵌入模型,因为它决定了物理列类型和向量操作符类。

Mistral Search Toolkit 摄取文档并运行混合查询

示例数据包含三篇关于 API 密钥、账单和工作区成员的文章。示例通过一次调用生成文本嵌入,然后将每篇文章作为一个携带其嵌入向量的分块写入;摄取过程不会执行嵌入。重新摄取相同的 source_id 时,会在一个事务中删除该文档现有的分块并插入新分块,以替换该文档。

在检索时,示例将 KeywordRetriever 和 NearestNeighbourRetriever 与 RRFRetriever 结合,通过倒数排名融合整合结果。每个检索器的 top_k=5,融合检索器的 top_k 也为 5。对于 Mistral 嵌入模型,服务器会自行对查询进行嵌入。针对 product 的 Equal 筛选条件会下推至两个检索分支。脚本演示了一个不带筛选条件的查询:“如何轮换 api 密钥”,以及一个带有 product="console" 筛选条件的查询:“添加一位同事”。

运行 uv run quickstart.py 后,索引会变为 READY,脚本会按 score source_id 的格式逐行打印搜索命中结果。第一个查询会搜索所有产品;第二个查询则将结果限制为 console 文章。脚本会在 finally 块中删除索引;删除操作是异步的,索引会先转为 deleting 状态,然后才会消失。

Mistral Search Toolkit 快速入门详情

  • 快速入门需要 Mistral API 密钥、Python 3.12 或更高版本、uv,以及启用了搜索索引的工作区。
  • 安装命令指定了 mistralai-search-toolkit>=0.1.0。
  • 创建索引需要工作区拥有 create_search_indexes 权限;创建时权限不足会返回 403。
  • 对现有索引的访问遭拒时会报告为 404,而非 403。
  • 示例使用 MistralEmbeddingPreset.MISTRAL_EMBED_DIM_1024。
  • 示例将 page_number 定义为索引 INT,将 product 定义为 KEYWORD。
  • 创建索引后,嵌入模型不可更改,因为它决定了物理列类型和向量操作符类。
  • 示例摄取了三篇文章,并将每篇文章作为一个携带其嵌入向量的分块写入。
  • 重新摄取相同的 source_id 时,会在一个事务中删除该文档现有的分块并插入新分块。
  • 混合查询使用倒数排名融合,结合关键词检索和最近邻检索;两个检索器以及融合检索器的 top_k 均为 5。
  • 针对 product 的 Equal 筛选条件会下推至两个检索分支。
  • 示例运行 uv run quickstart.py,并在查询完成后异步删除索引。

常见问题

Mistral Search Toolkit 快速入门演示了什么?

它演示了如何创建搜索索引、摄取文档并运行带筛选条件的混合查询。之后,智能体或工作流即可使用该索引。

示例使用哪些字段进行筛选和索引?

示例将 page_number 定义为索引 INT,将 product 定义为 KEYWORD。product 字段支持精确筛选,包括示例中的筛选条件 product="console"。

示例如何结合关键词搜索和向量搜索?

它通过 RRFRetriever 使用 KeywordRetriever 和 NearestNeighbourRetriever,并以倒数排名融合整合二者的排名。每个检索器和融合检索器的 top_k 均为 5;对于 Mistral 嵌入模型,服务器会自行对查询进行嵌入。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论