Mistral 详述了包括 Large 4 在内的多个模型的可调节推理能力

关键要点

  • Mistral Large 4 支持三个可调节的推理强度级别:低级别会尽量减少计算量,用于处理较简单的任务;中级别会平衡质量、token 用量和延迟;高级别则会为复杂任务使用最大推理计算量。
  • 根据 Mistral 于 2026 年 11 月 4 日发布的文档,所有受支持的模型均可通过 API 在 Agents 和 Conversations 端点的 completion_args 字段中使用 reasoning_effort 参数。
  • Mistral 要求开发者在多轮对话历史中重放完整的 assistant 消息,包括 ThinkChunk;丢弃推理轨迹会显著降低模型性能。

Mistral 于 2026-11-04T21:00:00+08:00 发布的文档详细介绍了可调节的推理功能,包括 Mistral Large 4 的三个推理力度级别。推理会使用额外的计算时间,在给出最终答案前生成更多 token,这一过程也称为测试时计算。文档涵盖模型设置、响应格式、流式传输,以及如何在多轮对话中保留推理片段。

Mistral 推理会在给出最终答案前使用额外计算

Mistral 将推理描述为思维链(CoT)的下一步:模型会在得出结论前生成逻辑步骤。训练会鼓励推理模型在生成最终答案前生成思维链。文档称,这让模型能够更深入地探索问题,并通过使用额外的计算时间生成更多 token、改进答案,尽其所能得出更好的解决方案。

推理模型擅长数学和编程等复杂用例,也可以用于广泛的场景。它们的输出包括一个包含模型思维轨迹的推理片段,随后是最终答案。较早推出的原生支持推理的 Magistral 模型已弃用。

Mistral 和 GLM 模型提供不同的推理控制选项

Mistral Small 4 (mistral-small-2603) 和 Mistral Medium 3.5 (mistral-medium-3-5) 支持通过 reasoning_effort 参数调节推理力度,无需额外配置。对于 Mistral Medium 3.5,文档建议在智能体和代码用例中使用 reasoning_effort="high"。对于 mistral-small-2603 和 mistral-medium-3-5,high 会在最终答案前返回完整的思考片段,但会增加 token 用量;none 则会让模型尽可能少思考,并省略思考片段。

Mistral Large 4 (mistral-large-4 / mistral-large-4-0) 支持 low、medium 和 high。文档还列出了 zai-glm-5-3,它支持 low、high 和 max;以及 GLM 5.3 Flash (zai-glm-5-3-flash),它支持 low、high 和 max,但不支持 none。通过 API,Agents 和 Conversations 端点也可以在 completion_args 字段中使用 reasoning_effort 参数。

Mistral Large 4 定义了三个推理力度级别

对于 Mistral Large 4,low 会尽量减少简单任务所需的推理计算,medium 会在推理质量、token 用量和延迟之间取得平衡,high 则会为复杂任务使用最多的推理计算。文档建议将 high 作为默认设置,以获得最佳质量;并建议明确设置 reasoning_effort="high" 作为起点,然后在 token 用量或延迟更重要时考虑使用 medium 或 low。

这三个级别仅适用于 Mistral Large 4。该模型不接受 none、minimal、xhigh 或 max;这些值并非其支持级别的别名。整个 API 的枚举值和 SDK 包含其他模型使用的值,但某个值出现在枚举中,并不意味着每个模型都接受它。特别是,zai-glm-5-3 仍支持 low、high 和 max。从 Mistral Large 4 Preview 先前的 none / high 命名迁移时,之前称为 none 的级别应使用 low;high 保持不变。新增的 medium 力度可在日常任务中平衡质量、token 用量和延迟。

Mistral 响应以片段形式呈现思考内容和文本

当 reasoning_effort 设置为 "high" 时,响应中的 message.content 是一个片段列表,而不是普通字符串。ThinkChunk 的 type 为 "thinking",其中包含模型的推理轨迹;它的 thinking 字段本身是一个 TextChunk 对象列表。TextChunk 的 type 为 "text",其中包含最终答案。当 reasoning_effort 为 "none" 时,message.content 是普通 str,不包含思考轨迹。

对于 zai-glm-5-3,无论 reasoning_effort 的值是什么,message.content 始终以包含思考和文本的片段列表形式返回;它不支持普通字符串模式。使用流式传输时,delta.content 的形态会在响应过程中变化:思考阶段是包含一个 ThinkChunk 的列表;过渡阶段是同时包含一个结束的 ThinkChunk 和第一个 TextChunk 的单一列表;回答阶段则是普通字符串。

Mistral 要求在多轮历史中保留完整的助手消息

对于包含推理的多轮对话,Mistral 表示应将完整的助手消息(包括 ThinkChunk)重新写入消息历史。文档警告,在轮次之间丢弃推理轨迹会降低模型性能。文档还指出,重新写入前不要从助手消息中删除 ThinkChunk:删除它们虽然能提高 token 效率,但会显著降低输出质量。

Mistral 推理模型和 API 详情

  • Mistral Small 4 的名称为 mistral-small-2603,无需额外配置即可通过 reasoning_effort 调节推理力度。
  • Mistral Medium 3.5 的名称为 mistral-medium-3-5;文档建议在智能体和代码用例中使用 reasoning_effort="high"。
  • Mistral Large 4 的名称为 mistral-large-4 / mistral-large-4-0,支持 low、medium 和 high 推理力度。
  • Mistral Large 4 不接受 none、minimal、xhigh 或 max。
  • zai-glm-5-3 支持 low、high 和 max,不支持 none。
  • GLM 5.3 Flash (zai-glm-5-3-flash) 支持 low、high 和 max;不支持 none。
  • 通过 API,Agents 和 Conversations 端点可在 completion_args 字段中使用 reasoning_effort。
  • 当 reasoning_effort="high" 时,Mistral Small 和 Medium 会在最终答案前返回完整的思考片段,但会增加 token 用量。
  • 在多轮对话中,应将包含 ThinkChunk 的完整助手消息重新写入消息历史。

常见问题

Mistral Large 4 支持哪些推理力度级别?

Mistral Large 4 (mistral-large-4 / mistral-large-4-0) 支持 low、medium 和 high。文档建议使用 high 以获得最佳质量,并指出在 token 用量或延迟更重要时,可以考虑使用 low 或 medium。

Mistral 如何返回推理内容和最终答案?

当 reasoning_effort="high" 时,响应中的 message.content 是包含思考和文本片段的列表。ThinkChunk 包含推理轨迹,TextChunk 则包含最终答案。当 reasoning_effort="none" 时,Mistral Small 和 Mistral Medium 会将 message.content 作为普通字符串返回,不包含思考轨迹。

开发者应在多轮推理对话中保留什么内容?

Mistral 表示,应将包含 ThinkChunk 的完整助手消息附加到消息历史中。文档警告,在轮次之间丢弃推理轨迹会降低模型性能。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论