开发者 Leonardo Alegría 的开源项目 Garlic LLM,可让越狱后的 PlayStation 4 在这款主机搭载的 2013 年 GPU 上离线运行 90 亿参数的 Qwen3.5-9B AI 模型。该应用通过直接调用 GPU,并将模型压缩至约 4.5GiB 以适配主机内存,在文本聊天中实现每秒 31 至 39 个 token,代码生成速度最高可达每秒 43 个 token。该项目使用以 OpenCL C 编写、通过 LLVM 编译的计算内核,面向 AMD 的 Graphics Core Next 架构,从而绕过传统驱动层;同时采用 4 位和 3 位权重量化,将内存需求从 9GB 降至约 4.5GiB。这种方案不同于 PS5LM 分支:后者在 PS5 上以原生应用运行 llama.cpp,并通过 PS5_Vulkan(RADV 驱动的移植版)调用主机的 AMD GPU。
Garlic LLM 通过自定义架构实现 GPU 直接访问
该项目名称取自 GPU 可直接读取的内存,依赖运行 GoldHEN 的 PS4;GoldHEN 是一款适用于已被破解主机的自制软件启用工具。Garlic LLM 是一个免费的单文件下载包,大小为 5.66GB,可在 Hugging Face 获取,并可通过 PS4 的 Package Installer 安装;安装需要约 6GB 可用空间,若先将安装包复制到主机内置磁盘,则需要 12GB。开发者在运行固件 11.52 的基础款/Slim PS4 上测试了该项目。模型的运算(例如对 4 位权重执行矩阵乘法)由以 OpenCL C 编写、通过 LLVM 编译并面向 AMD Graphics Core Next (GCN) 架构的计算内核完成。权重保存在“Garlic”内存中,纯 C 编写的 CPU 端则负责分词器、界面、文本渲染和音频处理。整个流程从提示词进入 CPU 分词器开始,随后针对每个 token 提交 PM4 命令缓冲区并运行 GCN 内核,最后显示或朗读该 token。整个项目使用开源的 OpenOrbis PS4 工具链构建。
模型压缩将内存占用降至 4.5GiB
该应用可在主机 8GB 的 CPU 和 GPU 共享内存中运行一个 90 亿参数模型。若每个权重使用 8 位,即每个参数占 1 字节,至少需要 9GB。解决方案采用 4 位(“Q4”)权重,内存占用减半;不过,每层中最大的两个矩阵使用 3 位(“Q3”)权重,计入缩放值后约为 3.5 位。两者结合后,模型大小约为 4.5GiB;如果全部使用 4 位,则约为 4.9GiB。注意力缓存(即 KV 缓存)也采用 4 位,因此可容纳 16K token 的上下文,而模型原生支持 256K。Parakeet 听写模型额外占用 0.33GiB,Chatterbox 语音模型占用 0.29GiB 和 0.09GiB,总计 5.23GiB,即 5.62GB,与 5.66GB 的安装包大小相当接近。
通过 Chatterbox 实现支持七种语言的语音对话
该应用支持语音对话,可通过 Chatterbox 语音模型以七种语言播报回复,聊天模型运行速度约为每秒 22 个 token。按住手柄按键即可使用 Nvidia 的 Parakeet TDT 0.6B v3 语音转文本模型进行听写,该模型支持 25 种欧洲语言。Parakeet 模型也为 Meetily 和 Hex 等本地转录与听写应用提供支持。主模型是 Alibaba 的小型开放权重模型 Qwen3.5-9B。使用这套方案时,代码生成速度更快,最高可达每秒 43 个 token。默认温度(控制模型输出随机性的参数)为 0.7,不过 Alibaba 建议在关闭思考模式时,一般任务使用 0.7;开启思考模式时使用 1.0。按每秒 35 个 token(即报告性能范围的中间值)计算,生成一段 300-token 的回答不到 9 秒。
多 token 预测提升 2013 年硬件上的性能
Qwen3.5 配有多 token 预测 (MTP) 头,Garlic LLM 利用它提前起草最多两个 token,再由完整模型进行验证。这与模型的训练方式相符;Alibaba 模型卡中的 vLLM 使用说明也采用两个推测 token。该项目将其在 2013 年硬件上的聊天速度归功于此。作为对比,PS5 运行体积大三倍的 Qwen3.8-27B 时速度约为每秒 20 个 token,而运行较小的 Gemma 4 E4B 和 Llama 3.2 3B 时,速度分别为每秒 61 和 124 个 token。
系统要求包括 GoldHEN 自制软件启用工具
PS4 Pro“尚未测试”,但开发者正在 GitHub 上征集用户反馈。该应用是专为 PS4 的 GPU 和系统软件编写的,因此不支持 PS5。应用本身不含任何漏洞利用程序,但安装 GoldHEN 的风险由用户自行承担。
常见问题
Garlic LLM 在越狱后的 PS4 上能达到怎样的性能?
Garlic LLM 在越狱后的 PS4 上进行文本聊天时速度为每秒 31 至 39 个 token,代码生成速度最高可达每秒 43 个 token。该应用运行经过压缩的 90 亿参数 Qwen3.5-9B 模型,使用 4 位和 3 位权重量化将模型压缩至约 4.5GiB。通过 Chatterbox 语音模型进行语音对话并播报回复时,速度约为每秒 22 个 token。
Garlic LLM 如何将 90 亿参数 AI 模型装入 PS4 的 8GB 内存?
Garlic LLM 对大多数参数使用 4 位权重,并对每层中最大的两个矩阵使用 3 位权重,将模型大小从 9GB 降至约 4.5GiB。注意力缓存也采用 4 位,支持 16K token 的上下文。Parakeet 听写模型额外占用 0.33GiB,Chatterbox 语音模型额外占用 0.38GiB,总计 5.23GiB 或 5.62GB。
Garlic LLM 对 PS4 有哪些系统要求?
Garlic LLM 需要一台运行 GoldHEN 的越狱 PS4;GoldHEN 是一款适用于已被破解主机的自制软件启用工具。该应用的下载包大小为 5.66GB,可在 Hugging Face 获取,并可通过 PS4 的 Package Installer 安装;安装需要约 6GB 可用空间,若先将安装包复制到主机内置磁盘,则需要 12GB。开发者在运行固件 11.52 的基础款/Slim PS4 上进行了测试。