商汤科技(SenseTime)于 10 月 30 日开源 SenseNova-Loop-9B-Preview 模型,采用循环 Transformer 架构和多模态设计,在 Hugging Face 发布模型权重,代码托管于 GitHub。据 IT 之家报道,模型包含 32 个解码器层,其中中间 24 层依序执行两次。
商汤科技于 Hugging Face 开源,Apache 2.0 授权
据 IT 之家报道,商汤科技于 2026 年 10 月 30 日开源了 SenseNova-Loop-9B-Preview 模型,模型权重以 Apache 2.0 许可证发布在 Hugging Face 项目组,代码托管于 GitHub。模型采用循环 Transformer 架构,具备多模态设计,可接受文本和图像作为输入,输出文本。
商汤表示,模型总参数约 90 亿,称其性能可匹敌约 270 亿参数的模型;模型卡列出的推理参数约为 146 亿。
循环架构:32 个解码器层中间 24 层执行两次,每次推理共 56 次层遍历
根据模型卡说明,模型包含 32 个不同的解码器层:前 4 层和后 4 层各执行一次,第 4 至 27 层(共 24 层)依序执行两次,且这 24 层的权重共享;每次前向传播过程中,解码器层执行 56 次(4 + 24×2 + 4),仅需存储 32 组层权重。
注意力结构上,解码器交错使用线性注意力层和全注意力层,每组四个注意力层由三个线性注意力层和一个全注意力层组成,循环边界与这些注意力层组对齐。训练方案包含文本、图像、代码和工具轨迹序列,最多可达 262,144 个标记。
双流 mHC 消融测试:GPQA Diamond 提升 4.42 分,TeamBench 提升 13.34 分
商汤科技在循环部分内添加了双流流形约束超连接(mHC)。据商汤说明,mHC 承载两个残差流,并利用受 Sinkhorn 归一化约束的学习映射来混合两个流之间的信息。商汤表示,消融测试结果显示,mHC 使 GPQA Diamond 的得分提高了 4.42 分,TeamBench 的得分提高了 13.34 分;上述为商汤自身的消融测试结果。
商汤科技自测结果:WorkBuddy Bench 等超越 Qwen3.5-27B,技术报告尚未发布
据商汤科技在其评估环境中的测试结果,SenseNova-Loop-9B-Preview 在编码、办公室和代理任务方面均优于对比模型。在以下三项测试中,商汤自测结果显示其超越 Qwen3.5-27B:
WorkBuddy Bench:办公室及代理任务基准测试
RaccoonPPT Bench:办公室及演示文稿任务基准测试
AutomationBench:自动化任务基准测试
模型卡基准测试图表亦涵盖 BIRD-Dev、AIDABench、Terminal Bench 2.1 和 T3-Banking。商汤明确声明,以上均为公司自身的测试结果,技术报告尚未发布。目前,模型支持 MTP 以加快推理速度;Dspark 和 Dflash2 两种加速方法仍在训练中;商汤表示,下一步将探索 DSA 和自适应迭代次数,以提高效率和任务表现。
常见问题
SenseNova-Loop-9B-Preview 的架构有何特点?
根据模型卡说明,模型包含 32 个解码器层,其中中间 24 层依序执行两次(共享权重),每次推理共 56 次层遍历,仅需存储 32 组层权重;总参数约 90 亿,推理参数约 146 亿。
模型以什么授权开源,在哪里取得?
据商汤科技发布说明,模型权重以 Apache 2.0 许可证发布在 Hugging Face 项目组,代码托管于 GitHub,并于 2026 年 10 月 30 日公开。
mHC 是什么,消融测试结果如何?
据商汤说明,mHC(双流流形约束超连接)承载两个残差流,并以受 Sinkhorn 归一化约束的学习映射混合两者信息;商汤的消融测试显示,mHC 使 GPQA Diamond 得分提升 4.42 分,TeamBench 提升 13.34 分。
这些基准测试结果有第三方验证吗?
据商汤科技自身说明,上述所有基准测试结果均来自公司自身的评估环境;技术报告尚未发布,目前无独立第三方验证结果。