Snowflake 于 2026 年 11 月 18 日发布了面向 Cortex AI Functions 的原生评估与优化工具框架,使数据工程师能够通过自动化模型和提示词优化,在保持输出质量的同时降低推理成本。
该框架推出了 AI_FUNCTION_EVALUATION 和 AI_FUNCTION_OPTIMIZATION 两项正式发布功能,旨在帮助团队以经济高效的方式扩展 AI 驱动的应用。AI_FUNCTION_EVALUATION 会根据带标签的示例衡量输出质量,并报告 token 用量和成本。AI_FUNCTION_OPTIMIZATION 使用包括 CoCoEvolve 和 GEPA 在内的智能体算法,自动探索不同的提示词与模型组合,并找出能够降低推理成本或提升质量的配置。
在一个使用交友平台应用的演示中,Snowflake 展示了优化工作流如何将原始业务需求转化为可投入生产的实现方案。经过优化的 Claude Haiku 候选方案验证得分为 0.98,高于 Claude Opus 基准方案的 0.95,同时推理成本降低了 89%。
构建阶段:创建可复用的自定义 AI 函数
Snowflake 的优化生命周期从构建阶段开始,团队可在此定义现已正式发布的自定义 AI 函数。在交友应用示例中,团队将指令和模型选择打包到一个名为 RECOMMEND_NEXT_ACTION 的函数中。该函数使用 AI_COMPLETE 和 claude-opus-5 模型分析对话并推荐后续操作,例如建议约会、发送破冰消息、推荐相似档案、标记安全风险或继续聊天。自定义 AI 函数可集中管理逻辑,无需在多个应用中重复创建,并可通过 Snowflake 现有的访问控制进行管理。
评估阶段:根据业务预期衡量质量
评估阶段使用 AI_FUNCTION_EVALUATION 根据带标签的示例测试函数。团队提供成对的数据,其中每段对话都带有一个 expected_action 标签,作为真实参考标准。评估支持多种评分方法,包括用于语义比较的 llm_judge,以及用于固定标签集的 exact_match。示例中的 FRIENDS_PLATFORM_CHATS_EVAL 表将用户对话与预期操作标签配对,为比较不同方案建立基准,并帮助区分有望奏效的改动与无法改善输出的改动。
优化阶段:自动探索备选配置
建立基准后,AI_FUNCTION_OPTIMIZATION 会自动搜索经济高效的替代方案。该功能将 CoCoEvolve 和 GEPA 等智能体优化算法集成到生产工作负载中。在给出的 SQL 配置示例中,针对 RECOMMEND_NEXT_ACTION 的优化实验设定了中等预算,测试包括 claude-opus-5、claude-sonnet-5 和 claude-haiku-4-5 在内的三个模型,指定 gpt-5-5 为 reflection_model,并使用 CoCoEvolve 算法。结果会按质量得分和推理成本比较候选配置,找出哪些方案能在满足质量门槛的同时降低成本,或在基准表现不足时提升质量。
优化结果显示,经过优化的 Haiku 候选方案验证得分为 0.98,而 Opus 基准方案为 0.95,且推理成本降低了 89%。其他候选方案得分更高,但相较基准方案未能实现同等幅度的成本节省。
部署阶段:注册优化后的函数以用于生产
团队选定并验证实现方案后,可以通过 Snowsight 直接从实验中将优化后的提示词和模型配置注册为自定义 AI 函数。这样便能将实验结果转化为可复用的函数,供应用通过 SQL 调用,让团队无需重新创建逻辑即可应用改进。对于交友应用,选定的优化函数会在生产流水线中取代基准方案,使应用在使用成本更低的模型和改进后的提示词时,仍能提供相同的操作建议。
关键事实
- AI_FUNCTION_EVALUATION 现已正式发布,团队可用它根据带标签的示例衡量 AI 函数输出质量,并报告每次函数调用的 token 用量和推理成本
- AI_FUNCTION_OPTIMIZATION 现已正式发布,可使用包括 CoCoEvolve 和 GEPA 在内的智能体算法,自动探索不同的提示词与模型组合
- 在 Snowflake 的示例中,经过优化的 Claude Haiku 候选方案验证得分为 0.98,而 Claude Opus 基准方案为 0.95,且推理成本降低了 89%
- 使用 CoCoEvolve 算法配置实验时,优化工作流将 gpt-5-5 指定为 reflection_model
- 自定义 AI 函数现已正式发布,团队可以将指令和模型选择打包为可复用函数,并通过 Snowflake 现有的访问控制进行管理
- 优化预算可设为中等,用于控制算法探索所需的计算资源和候选组合
- 团队可以通过 Snowsight 中的引导式工作流、CoCo chat 或直接使用 SQL 来设置评估和优化
常见问题
AI_FUNCTION_EVALUATION 如何衡量输出质量?
AI_FUNCTION_EVALUATION 会根据带标签的示例测试 AI 函数,并根据使用场景支持多种评估指标。对于固定标签分类任务,团队可以使用 exact_match,将预测输出直接与真实参考标签进行比较。对于语义评估,团队可以使用 llm_judge,将函数的建议与预期操作进行比较,以衡量语义一致性。评估会报告质量得分、token 用量和成本指标,帮助团队判断实现方案是否满足质量要求,并在扩展到更大规模的工作负载之前估算推理成本。
AI_FUNCTION_OPTIMIZATION 使用哪些优化算法?
AI_FUNCTION_OPTIMIZATION 将包括 CoCoEvolve 和 GEPA 在内的智能体优化算法集成到生产工作负载中。这些算法利用评估反馈生成并测试备选实现方案,从而减少手动调整提示词的需求。配置优化实验时,团队需要指定 reflection_model(例如 gpt-5-5)、预算级别(例如中等)、要探索的候选模型以及要使用的算法。随后,系统会自动探索不同的提示词、模型和函数实现组合,并比较每个候选方案的质量得分和推理成本。
完成评估和优化实验后,团队如何部署优化后的 AI 函数?
团队从优化结果中选定经过验证的实现方案后,可以通过 Snowsight 直接从实验中将其注册为自定义 AI 函数。此过程会将优化后的提示词和模型配置嵌入可复用函数,供应用通过标准 SQL 调用。随后,优化后的函数会在生产流水线中取代基准实现,让团队无需重新创建代码或更改应用逻辑,即可使用成本更低的模型或改进后的提示词来提供相同的业务逻辑。