Alibaba Qwen3.8-27B 可通过 Ollama 在家用电脑上本地运行

关键要点

  • 在配备 12 GB 显存的 RTX 3060 上,Alibaba Qwen3.8-27B 将上下文长度从 262,144 个词元缩短至 16,384 个词元后,生成速度提升了 5.5 倍。
  • 根据 Incrypted 的 Ollama 测试,限制上下文长度将加载时间从 4 分 14 秒缩短至 13 秒,同时将生成速度提升至每秒 6.7 个词元。
  • Qwen3.8-27B 用时 31 分 38 秒生成了一份包含 866 行代码的 Blender 脚本,经少量代码修正后,创建了 31 个场景对象,并实现了可运行的动画。

2026 年 06.11.2026,Incrypted 发布了对 Alibaba 的 Qwen3.8-27B 的实测报告,该模型通过 Ollama 在本地运行。报告考察了硬件要求和设置选项,其中包括调整上下文窗口;在测试用 PC 上,这一调整使生成速度提升了 5.5 倍。本地运行时,模型数据会保留在设备上,其权重采用 Apache 2.0 许可证发布。

Qwen3.8-27B 将密集架构与 262,144 Token 上下文相结合

Qwen3.8-27B 是一个密集模型,拥有 277.8 亿个参数。其网络有 64 层,隐藏层大小为 5,120;与混合专家模型不同,它会使用所有参数来生成每个 token。文章称,这让部署和微调更容易,但较高的内存带宽需求会限制速度。

该模型通过内置视觉编码器支持文本、图像和视频输入,但只生成文本输出。其原生上下文窗口为 262,144 个 token,可扩展至 100 万个 token。开发者警告,扩大窗口可能会降低模型处理短提示词时的质量。据文章介绍,运行 4 位版本的 24 GB GPU 可处理 64,000–96,000 个 token 的上下文。

模型权重可在 Hugging Face 和 ModelScope 上获取,采用 Apache 2.0 许可证;模型也可通过 Ollama、LM Studio 和 Alibaba Cloud API 使用。文章指出,训练数据、训练方案、语料库规模和知识截止日期尚未披露;权重和推理代码是开放的,但模型的创建过程并未公开。

Qwen3.8-27B 与拥有 2.4 万亿参数的 Qwen3.8-Max 同步发布。文章还将 Qwen3.8-2.4T-A95B 列为一款开放发布的模型,每个 token 会激活 950 亿个参数。Qwen 的账号于 2026 年 8 月 3 日发布了有关开放权重模型的信息。文章称,Qwen3.8-Max 的权重占用 4.9 TB,在极限 1 位量化下约为 397 GB,超出了文中所述家用 PC 配置的承载范围。

Qwen3.8-27B 基准测试显示其智能体表现强于通识能力

文章报道,Qwen3.8-27B 在开发者排行榜上的 SWE-bench Pro 上获得了 61.7% 的成绩。与 Qwen3.6-27B 相比,它在 DeepSWE 1.1 上的分数从 13.3 升至 42.2,在 OSWorld-Verified 上的分数从 63.9 升至 84.3。在内部基准 QwenSWEBench 上,报告的分数从 49.3 提高到 79.0。

文章提醒,公告中的测试结果由 Alibaba 生成;包括 QwenSWEBench、CoWorkBench 和 RecreationBench 在内的一些基准属于内部基准;Claude Opus 4.6 Max 在 SWE-bench Pro 上的成绩来自 Anthropic 官方数据,并非在相同条件下进行的测试。

文章引用的独立测试结果显示,该模型在 BenchLM 的 216 个模型中排名第 80,总分为 100 分中的 54.3 分。其各类别排名为:推理能力在 26 个模型中排名第 7,智能体任务在 135 个模型中排名第 20,通识能力在 179 个模型中排名第 88。在 Vals AI 指数中,它获得 48.5 分,其中 SWE-bench 得分为 86.0%,LiveCodeBench 为 84.0%,CyberBench v1.1 为 67.8%。Runpod 引用了该模型在 Harvey 和 Engram 法律研究基准的 250 项任务中的平均准确率为 67% 的结果。

Qwen3.8-27B 的推理设置会影响速度和 Token 用量

推理默认启用。reasoning_effort 参数提供 xhigh(复杂任务的默认设置)、medium 和 low;low 被描述为速度最快、成本最低的设置。preserve_thinking 参数默认保留先前轮次的推理过程;关闭后,模型只会考虑最新请求。也可以通过 enable_thinking: false 完全关闭推理。

开发者建议推理模式使用 temperature 1.0、top_p 0.95 和 top_k 20。不使用推理时,建议设置为 temperature 0.7、top_p 0.8、top_k 20 和 presence_penalty 1.5。

开发者 Simon Willison 在配备 M5 Max 芯片和 128 GB 内存的 MacBook Pro 上测试了该模型。他让模型生成一幅骑自行车的鹈鹕 SVG 图像;在 xhigh 设置下,该测试耗时约 21 分钟,使用了 22,276 个推理 token 和 3,223 个输出 token。关闭推理后,相同任务耗时 137 秒,生成结果明显更简单。Willison 建议从 low 设置或关闭推理开始,而不是一直使用默认设置。

Ollama 在 12 GB GPU 上通过调整上下文运行 Qwen3.8-27B

Incrypted 的实测使用了 Ollama,这是一款适用于 Windows、macOS 和 Linux 的免费工具。测试 PC 配备 NVIDIA GeForce RTX 3060,拥有 12 GB VRAM,以及 64 GB DDR4-2400 RAM。其 Q4_K_M 模型构建版本占用约 17 GB,因此 Ollama 将部分层卸载到了系统内存。

文章的安装说明使用 ollama pull qwen3.8:27b。Ollama 会下载一个约 18 GB、支持图像且上下文最高可达 256,000 个 token 的构建版本。文章指出,qwen3.8:27b-mlx 是针对 Apple Silicon 优化的标签。下载后,ollama list 会显示确切的模型名称。

测试发现,如果不限制上下文,Ollama 可能会分配完整的 262,144-token 窗口。其缓存占用约 11 GB,使模型的内存占用达到 28 GB。在该测试中,73% 的计算由 CPU 执行,27% 由 GPU 执行。文章称,ollama ps 会在 CONTEXT 列中显示已应用的上下文,在 SIZE 列中显示内存占用,并在 PROCESSOR 列中显示 CPU/GPU 计算分配情况。

针对 12 GB GPU 的测试,文章建议使用 Modelfile 和 num_ctx 16384 参数创建一个上下文为 16,384 个 token 的模型变体,然后通过 ollama create qwen3.8-16k -f Modelfile 创建。这样会创建一个封装后的模型版本,而不必重新下载模型。文章称,也可以创建 32,768-token 变体来处理较长文档,但这会降低 12 GB GPU 上的运行速度。随后可以使用 ollama run qwen3.8-16k --verbose --think=false 运行模型;文章指出,eval rate 表示以每秒 token 数计的生成速度。

使用完整的 262,144-token 上下文时,加载耗时 4 分 14 秒,提示词处理速度为每秒 0.68 个 token,响应生成速度为每秒 1.22 个 token。使用 16,384-token 上下文时,加载耗时 13 秒,提示词处理速度达到每秒 15.5 个 token,响应生成速度达到每秒 6.7 个 token。文章报告称,限制上下文使生成速度提升了 5.5 倍。文章还建议关闭占用大量内存的程序;在 Windows 上,如果未使用 Linux 子系统,可以运行 wsl --shutdown,因为该子系统可能会预留数 GB 内存。

对于图形界面,文章称可以在 LM Studio 中搜索 qwen3.8-27b 来查找模型;加载时通过 Context Length 字段设置上下文。作为模型能够完全装入 24 GB 显存 GPU 的参考,文章给出的速度范围为每秒 15 至 30 个 token。在测试用 RTX 3060 上,使用 16,384-token 上下文时,生成速度为每秒 6.7 个 token。

Qwen3.8-27B 的 Blender 测试生成了有错误的 866 行脚本

Incrypted 使用 qwen3.8-16k 并关闭推理,让 Qwen3.8-27B 根据要求在 Blender 中创建一个夜间灯塔动画场景。脚本在 Blender 5.1.1 中运行。生成耗时 31 分 38 秒,其中包含近 3 分钟的模型内存加载时间。模型以每秒 5.24 个 token 的速度生成了 9,021 个 token,最终得到一份 866 行的脚本,分为 16 个带注释的部分。

脚本在第 20 行处停止运行,因为它试图将 Blender 中只读的 block.users 计数器设为 0。编辑者禁用了 866 行中的 13 行(约占脚本的 1.5%)后,脚本顺利运行完毕并创建了 31 个对象。这些对象包括灯塔塔身、带有 16 根立柱栏杆的观景廊、带穹顶的灯室、光束锥体、岩石、海面、摄像机、光源和星空。240 帧的光束旋转动画运行正常。

场景仍存在构图错误:塔身只有一段红色,而非红白相间的条纹;岩石比灯塔小了数倍,塔身还悬在岩石上方;摄像机则背对灯塔。文章称,使用脚本所设摄像机生成的最终渲染画面呈现了海面、地平线上的岩石和星星,却没有灯塔。文章总结称,该测试生成了可辨认的场景元素,代码结构大体正确,但脚本无法未经修改直接运行,空间计算则是其薄弱环节。

Qwen3.8-27B 本地配置与测试数据

  • Qwen3.8-27B 拥有 277.8 亿个参数、64 层,隐藏层大小为 5,120。
  • 其原生上下文窗口为 262,144 个 token,可扩展至 100 万个 token;开发者警告,扩大窗口可能会降低模型处理短提示词时的质量。
  • 4 位 Q4_K_M 构建版本占用 17–18 GB;文章所述的 Ollama 下载文件约为 18 GB。
  • 对于使用 32,000–64,000-token 上下文的 Q4_K_M 构建版本,文章列出的 GPU 配置为 24 GB 显存(包括 RTX 3090 或 RTX 4090),或 32 GB 的 RTX 5090。
  • 对于 Apple Silicon,文章列出的要求是 32 GB 或更多内存,以及 4 位 GGUF 或 MLX 构建版本。
  • 12–16 GB GPU 搭配 32 GB 或更多 RAM,并将部分层卸载至系统 RAM,即可运行 Q4_K_M 构建版本;文章称,这能保留模型质量,但速度会降低数倍。
  • 在配备 12 GB VRAM 的 RTX 3060 和 64 GB DDR4-2400 RAM 上,将上下文从 262,144 个 token 调整为 16,384 个 token,使加载时间从 4 分 14 秒缩短至 13 秒,生成速度从每秒 1.22 个 token 提高到每秒 6.7 个 token。
  • 在 Blender 5.1.1 中进行的测试里,模型在 31 分 38 秒内生成了 9,021 个 token 和一份 866 行的脚本;禁用 13 行后,脚本才运行完毕并创建了 31 个对象。
  • 文章称,训练数据、训练方案、训练语料库规模和知识截止日期均未披露。

常见问题

在本地运行 Qwen3.8-27B 需要什么硬件?

文章列出的配置包括:使用 32,000–64,000-token 上下文运行 Q4_K_M 构建版本,需要 24 GB GPU,例如 RTX 3090 或 RTX 4090,或 32 GB 的 RTX 5090。文章还列出配备至少 32 GB 内存的 Apple Silicon Mac,或者搭配 32 GB 或更多 RAM、并将部分层卸载至系统内存的 12–16 GB GPU。

限制上下文窗口对 Ollama 测试有什么影响?

在 Incrypted 的测试中,RTX 3060 配备 12 GB VRAM 和 64 GB DDR4-2400 RAM;将上下文从 262,144 个 token 缩减至 16,384 个 token,使加载时间从 4 分 14 秒缩短至 13 秒。提示词处理速度从每秒 0.68 个 token 提高到每秒 15.5 个 token,生成速度从每秒 1.22 个 token 提高到每秒 6.7 个 token,生成速度提升了 5.5 倍。

Qwen3.8-27B 在 Blender 测试中生成了什么?

在 Blender 5.1.1 测试中关闭推理后,该模型用 31 分 38 秒生成了一份包含 9,021 个 token、共 866 行的脚本。禁用 13 行后,脚本创建了 31 个对象,并生成了正常运行的 240 帧光束旋转动画,但场景仍存在错误,包括摄像机背对灯塔。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论