2026 年 06.11.2026,Incrypted 发布了对 Alibaba 的 Qwen3.8-27B 的实测报告,该模型通过 Ollama 在本地运行。报告考察了硬件要求和设置选项,其中包括调整上下文窗口;在测试用 PC 上,这一调整使生成速度提升了 5.5 倍。本地运行时,模型数据会保留在设备上,其权重采用 Apache 2.0 许可证发布。
Qwen3.8-27B 是一个密集模型,拥有 277.8 亿个参数。其网络有 64 层,隐藏层大小为 5,120;与混合专家模型不同,它会使用所有参数来生成每个 token。文章称,这让部署和微调更容易,但较高的内存带宽需求会限制速度。
该模型通过内置视觉编码器支持文本、图像和视频输入,但只生成文本输出。其原生上下文窗口为 262,144 个 token,可扩展至 100 万个 token。开发者警告,扩大窗口可能会降低模型处理短提示词时的质量。据文章介绍,运行 4 位版本的 24 GB GPU 可处理 64,000–96,000 个 token 的上下文。
模型权重可在 Hugging Face 和 ModelScope 上获取,采用 Apache 2.0 许可证;模型也可通过 Ollama、LM Studio 和 Alibaba Cloud API 使用。文章指出,训练数据、训练方案、语料库规模和知识截止日期尚未披露;权重和推理代码是开放的,但模型的创建过程并未公开。
Qwen3.8-27B 与拥有 2.4 万亿参数的 Qwen3.8-Max 同步发布。文章还将 Qwen3.8-2.4T-A95B 列为一款开放发布的模型,每个 token 会激活 950 亿个参数。Qwen 的账号于 2026 年 8 月 3 日发布了有关开放权重模型的信息。文章称,Qwen3.8-Max 的权重占用 4.9 TB,在极限 1 位量化下约为 397 GB,超出了文中所述家用 PC 配置的承载范围。
文章报道,Qwen3.8-27B 在开发者排行榜上的 SWE-bench Pro 上获得了 61.7% 的成绩。与 Qwen3.6-27B 相比,它在 DeepSWE 1.1 上的分数从 13.3 升至 42.2,在 OSWorld-Verified 上的分数从 63.9 升至 84.3。在内部基准 QwenSWEBench 上,报告的分数从 49.3 提高到 79.0。
文章提醒,公告中的测试结果由 Alibaba 生成;包括 QwenSWEBench、CoWorkBench 和 RecreationBench 在内的一些基准属于内部基准;Claude Opus 4.6 Max 在 SWE-bench Pro 上的成绩来自 Anthropic 官方数据,并非在相同条件下进行的测试。
文章引用的独立测试结果显示,该模型在 BenchLM 的 216 个模型中排名第 80,总分为 100 分中的 54.3 分。其各类别排名为:推理能力在 26 个模型中排名第 7,智能体任务在 135 个模型中排名第 20,通识能力在 179 个模型中排名第 88。在 Vals AI 指数中,它获得 48.5 分,其中 SWE-bench 得分为 86.0%,LiveCodeBench 为 84.0%,CyberBench v1.1 为 67.8%。Runpod 引用了该模型在 Harvey 和 Engram 法律研究基准的 250 项任务中的平均准确率为 67% 的结果。
推理默认启用。reasoning_effort 参数提供 xhigh(复杂任务的默认设置)、medium 和 low;low 被描述为速度最快、成本最低的设置。preserve_thinking 参数默认保留先前轮次的推理过程;关闭后,模型只会考虑最新请求。也可以通过 enable_thinking: false 完全关闭推理。
开发者建议推理模式使用 temperature 1.0、top_p 0.95 和 top_k 20。不使用推理时,建议设置为 temperature 0.7、top_p 0.8、top_k 20 和 presence_penalty 1.5。
开发者 Simon Willison 在配备 M5 Max 芯片和 128 GB 内存的 MacBook Pro 上测试了该模型。他让模型生成一幅骑自行车的鹈鹕 SVG 图像;在 xhigh 设置下,该测试耗时约 21 分钟,使用了 22,276 个推理 token 和 3,223 个输出 token。关闭推理后,相同任务耗时 137 秒,生成结果明显更简单。Willison 建议从 low 设置或关闭推理开始,而不是一直使用默认设置。
Incrypted 的实测使用了 Ollama,这是一款适用于 Windows、macOS 和 Linux 的免费工具。测试 PC 配备 NVIDIA GeForce RTX 3060,拥有 12 GB VRAM,以及 64 GB DDR4-2400 RAM。其 Q4_K_M 模型构建版本占用约 17 GB,因此 Ollama 将部分层卸载到了系统内存。
文章的安装说明使用 ollama pull qwen3.8:27b。Ollama 会下载一个约 18 GB、支持图像且上下文最高可达 256,000 个 token 的构建版本。文章指出,qwen3.8:27b-mlx 是针对 Apple Silicon 优化的标签。下载后,ollama list 会显示确切的模型名称。
测试发现,如果不限制上下文,Ollama 可能会分配完整的 262,144-token 窗口。其缓存占用约 11 GB,使模型的内存占用达到 28 GB。在该测试中,73% 的计算由 CPU 执行,27% 由 GPU 执行。文章称,ollama ps 会在 CONTEXT 列中显示已应用的上下文,在 SIZE 列中显示内存占用,并在 PROCESSOR 列中显示 CPU/GPU 计算分配情况。
针对 12 GB GPU 的测试,文章建议使用 Modelfile 和 num_ctx 16384 参数创建一个上下文为 16,384 个 token 的模型变体,然后通过 ollama create qwen3.8-16k -f Modelfile 创建。这样会创建一个封装后的模型版本,而不必重新下载模型。文章称,也可以创建 32,768-token 变体来处理较长文档,但这会降低 12 GB GPU 上的运行速度。随后可以使用 ollama run qwen3.8-16k --verbose --think=false 运行模型;文章指出,eval rate 表示以每秒 token 数计的生成速度。
使用完整的 262,144-token 上下文时,加载耗时 4 分 14 秒,提示词处理速度为每秒 0.68 个 token,响应生成速度为每秒 1.22 个 token。使用 16,384-token 上下文时,加载耗时 13 秒,提示词处理速度达到每秒 15.5 个 token,响应生成速度达到每秒 6.7 个 token。文章报告称,限制上下文使生成速度提升了 5.5 倍。文章还建议关闭占用大量内存的程序;在 Windows 上,如果未使用 Linux 子系统,可以运行 wsl --shutdown,因为该子系统可能会预留数 GB 内存。
对于图形界面,文章称可以在 LM Studio 中搜索 qwen3.8-27b 来查找模型;加载时通过 Context Length 字段设置上下文。作为模型能够完全装入 24 GB 显存 GPU 的参考,文章给出的速度范围为每秒 15 至 30 个 token。在测试用 RTX 3060 上,使用 16,384-token 上下文时,生成速度为每秒 6.7 个 token。
Incrypted 使用 qwen3.8-16k 并关闭推理,让 Qwen3.8-27B 根据要求在 Blender 中创建一个夜间灯塔动画场景。脚本在 Blender 5.1.1 中运行。生成耗时 31 分 38 秒,其中包含近 3 分钟的模型内存加载时间。模型以每秒 5.24 个 token 的速度生成了 9,021 个 token,最终得到一份 866 行的脚本,分为 16 个带注释的部分。
脚本在第 20 行处停止运行,因为它试图将 Blender 中只读的 block.users 计数器设为 0。编辑者禁用了 866 行中的 13 行(约占脚本的 1.5%)后,脚本顺利运行完毕并创建了 31 个对象。这些对象包括灯塔塔身、带有 16 根立柱栏杆的观景廊、带穹顶的灯室、光束锥体、岩石、海面、摄像机、光源和星空。240 帧的光束旋转动画运行正常。
场景仍存在构图错误:塔身只有一段红色,而非红白相间的条纹;岩石比灯塔小了数倍,塔身还悬在岩石上方;摄像机则背对灯塔。文章称,使用脚本所设摄像机生成的最终渲染画面呈现了海面、地平线上的岩石和星星,却没有灯塔。文章总结称,该测试生成了可辨认的场景元素,代码结构大体正确,但脚本无法未经修改直接运行,空间计算则是其薄弱环节。
文章列出的配置包括:使用 32,000–64,000-token 上下文运行 Q4_K_M 构建版本,需要 24 GB GPU,例如 RTX 3090 或 RTX 4090,或 32 GB 的 RTX 5090。文章还列出配备至少 32 GB 内存的 Apple Silicon Mac,或者搭配 32 GB 或更多 RAM、并将部分层卸载至系统内存的 12–16 GB GPU。
在 Incrypted 的测试中,RTX 3060 配备 12 GB VRAM 和 64 GB DDR4-2400 RAM;将上下文从 262,144 个 token 缩减至 16,384 个 token,使加载时间从 4 分 14 秒缩短至 13 秒。提示词处理速度从每秒 0.68 个 token 提高到每秒 15.5 个 token,生成速度从每秒 1.22 个 token 提高到每秒 6.7 个 token,生成速度提升了 5.5 倍。
在 Blender 5.1.1 测试中关闭推理后,该模型用 31 分 38 秒生成了一份包含 9,021 个 token、共 866 行的脚本。禁用 13 行后,脚本创建了 31 个对象,并生成了正常运行的 240 帧光束旋转动画,但场景仍存在错误,包括摄像机背对灯塔。
相关快讯