初代PS4也能跑 AI：90亿参数模型生成速度最高达每秒43个token

近日，一位独立开发者成功将初代PlayStation 4改造为支持文本和语音交互的本地AI助手。

该项目名为Garlic LLM，能够在主机自带的AMD GCN架构GPU上运行90亿参数的Qwen3.5-9B模型。模型推理、语音识别与语音合成均可在主机本地完成，运行过程中无需连接互联网或外部计算机，也不需要安装Linux。

目前，该项目开发者Leonardo Alegría已在GitHub上公开了相关代码、技术文档及安装程序。根据其公布的测试数据，在初代PS4和PS4 Slim上，Qwen3.5-9B的文本生成速度约为每秒31～39个token，在部分代码生成场景下最高可达每秒43个token。需要注意的是，这些数据来自开发者自己的测试，尚不能视为经过独立第三方验证的基准成绩。

PS4原有的自制软件环境缺乏可直接使用的通用GPU计算接口和机器学习库。为突破这一限制，Alegría使用OpenCL C编写了针对AMD GCN架构的自定义GPU计算内核，并通过LLVM编译相关代码。

在内核调度方面，他还手动编写了PM4命令数据包，直接向GPU提交计算任务，而不是依赖常规图形驱动自动生成这些底层调度命令。这种方式使原本面向游戏图形渲染设计的GPU，也能够承担大语言模型所需的矩阵运算、注意力计算和归一化等任务。

内存容量是项目面临的另一项关键挑战。初代PS4仅配备8GB共享GDDR5内存，GPU与CPU需要共同使用这部分资源。为此，Garlic LLM采用了专门设计的量化方案，将Qwen3.5-9B的主体权重压缩为约4.32GiB，并额外使用约0.20GiB存储多token预测（MTP）模块，相关模型文件合计约4.5GiB。

其中，大部分权重采用4位精度，每一层中规模最大的MLP门控投影与上投影矩阵则采用3位量化；考虑缩放参数后，实际平均存储精度约为每个参数3.5位。此外，KV缓存也采用4位量化，使模型能够支持16K token的上下文窗口。

性能提升的另一项关键技术是推测解码（Speculative Decoding）。Qwen3.5-9B本身包含多token预测（MTP）模块，Garlic LLM利用这一机制，让模型一次预先生成最多两个候选token，再通过主模型的一次前向计算对其进行验证，从而减少逐个生成token所需的计算开销。据开发者公布的数据，启用这一机制后，文本生成速度从约每秒22个token提升至每秒31～39个token，部分代码生成场景下最高达到每秒43个token。

除了文本聊天，Garlic LLM还集成了本地语音识别和语音合成功能。其中，语音识别使用NVIDIA Parakeet TDT 0.6B v3模型，语音合成则采用Chatterbox。用户可以通过手柄上的按键进行语音输入，并让AI直接以语音形式回答。

不过，语音交互模式下，聊天模型的生成速度约为每秒22个token，因为语音模型运行时会占用原本用于推测解码的内存资源。项目还提供Python模式，可以让模型生成MicroPython程序，并在PS4主机上执行。

从实际使用范围来看，Garlic LLM的主要价值在于证明老旧游戏硬件也能够承担现代本地AI推理任务，而不是让PS4获得与新一代PC显卡相当的AI性能。Qwen3.5-9B的16K上下文窗口也明显低于该模型在高配置计算平台上能够支持的上下文规模。与此同时，token生成速度并不等同于模型回答质量，目前公布的数据也不足以全面评估其在复杂推理、编程和长文本任务中的实际表现。

需要特别说明的是，该项目并非安装后即可直接在所有PS4上运行，主机必须具备GoldHEN自制软件环境。开发者目前仅在初代PS4和PS4 Slim、系统固件11.52的设备上完成测试，PS4 Pro及其他固件版本尚未得到验证。Garlic LLM已通过GitHub以GPL-3.0许可证开源，并提供包含模型文件的安装包。

总的来看，这项尝试不仅展示了老旧游戏主机的硬件潜力，也为低成本、本地化 AI 推理提供了新的技术思路。它的意义并不在于让 PS4 取代现代计算设备，而在于证明，通过底层软件优化与算法创新，十多年前的硬件依然能够找到新的应用价值。

小编将在第一时间分享更多相关最新动态和爆料，敬请关注。