小米旗下 SeerRay 实验室于 10 月 21 日开源 Xiaomi-Lens-0。这是一个基于 Qwen3.5-4B、拥有 40 亿参数的多模态模型,能够在推理过程中生成像素级区域分割掩码。该模型在 Qwen3.5-4B 的基础上新增了轻量级像素掩码解码器;当模型发出特殊掩码标记时,相关视觉潜在表示会被解码为图像上的分割掩码。
Xiaomi-Lens-0 开源信息:HuggingFace 权重、GitHub 代码与 arXiv 技术报告
Xiaomi-Lens-0 的开源资源于 2026 年 10 月 21 日在以下位置发布:模型权重和配置位于 SeerRay-Lab 的 HuggingFace 组织;代码托管于 GitHub;技术报告发布于 arXiv。此版本包含模型权重、配置、分词器和处理器;加载模型和解码掩码需使用配套的 Xiaomi-Lens 包,不能仅依赖 Transformers 标准类。模型采用 Apache 2.0 许可证,允许用于商业和研究用途。
SeerRay-Lab 是小米大语言模型应用团队旗下的视觉理解小组;模型卡和技术报告均将 Xiaomi-Lens-0 的修改归功于小米公司。这是小米旗下 HuggingFace 组织发布的官方研究成果,并非第三方对小米产品的修改。
模型架构:Qwen3.5-4B 加轻量级像素掩码解码器的设计原理
Xiaomi-Lens-0 以 Qwen3.5-4B 为基础,并新增了一个轻量级像素掩码解码器。当模型在生成序列中发出特殊掩码标记时,该标记携带的视觉潜在表示会被解码为图像上的分割掩码;每个潜在表示都会映射到一个图像区域,使模型能够在推理过程中交错输出普通文本和区域指针,而非仅在最终答案中提供区域标记。
约 40 亿的参数规模使其适用于需要显示答案适用范围的边缘设备实验,包括机器人取放、车载助手和手机视觉助手;技术报告将其描述限定在这类面向边缘设备的实验场景,并未将其称为经过验证的生产部署环境。
支持任务:五类视觉理解任务与 LensBench 基准测试工具
Xiaomi-Lens-0 目前支持以下推理任务:
指代表达理解与分割(Referring Expression Comprehension and Segmentation)
多实例定位(Multi-Instance Localization)
推理分割(Reasoning Segmentation)
具身指代(Embodied Referring,例如“把东西给我”这类提示)
细粒度视觉感知(Fine-Grained Visual Perception)
团队还同步发布了 LensBench——一个分割基准测试工具——以及一个可交互的演示界面。上述支持任务的详细规格及 LensBench 的测试方法,见 SeerRay-Lab 的 HuggingFace 模型卡和 arXiv 技术报告。
技术报告评测结果:RefCOCO 系列指代表达理解指标平均提升 5.6 分
根据技术报告,以下为作者自行评估的基准测试成绩。在 RefCOCO、RefCOCO+ 和 RefCOCOg 的 8 个指代表达划分中,Xiaomi-Lens-0 的指代表达理解指标平均比 Qwen3.5 基准模型高 5.6 分;CountQA 指标提高 6.8 分;在分割 cIoU 指标上,Xiaomi-Lens-0 在报告列出的对比系统中排名首位。以上成绩均为作者评估结果,尚无第三方独立复测数据。
常见问题
Xiaomi-Lens-0 采用什么开源许可证?在哪里可以获取模型?
Xiaomi-Lens-0 采用 Apache 2.0 许可证发布,允许用于商业和研究用途。模型权重和配置位于 SeerRay-Lab 的 HuggingFace 组织,代码托管于 GitHub,技术报告发布于 arXiv;加载模型和解码掩码需使用配套的 Xiaomi-Lens 包,不能仅依赖 Transformers 标准类。
Xiaomi-Lens-0 在 RefCOCO 系列基准测试中的评测结果如何?
根据技术报告中的作者自评结果,Xiaomi-Lens-0 在 RefCOCO、RefCOCO+ 和 RefCOCOg 的 8 个指代表达划分中,指代表达理解指标平均比 Qwen3.5-4B 基准模型高 5.6 分;CountQA 指标提高 6.8 分;分割 cIoU 指标在报告列出的对比系统中排名首位。以上数据为作者评估结果,目前尚无第三方独立复测记录。
Xiaomi-Lens-0 与 Transformers 标准类的兼容性如何?
根据官方模型卡说明,加载 Xiaomi-Lens-0 和解码掩码需使用配套的 Xiaomi-Lens 包,不能仅使用 Transformers 标准类。此版本包含模型权重、配置、分词器和处理器,相关安装与使用说明详见 SeerRay-Lab 的 GitHub 和 HuggingFace 模型卡。