北京
把一块旧显卡插回机箱，让它专门跑小模型，主力卡只管大模型——Lucebox 想做的就是这件事。这个用 C++ 写成的投机推理服务器，瞄准的是异构硬件和消费级 GPU 场景。
它的做法是配对：在低端加速器或集成 GPU 上放一个轻量草稿模型，在主设备上放完整参数的目标模型。按项目给出的数据，token 生成速度可以提升 1.5 倍到 3 倍，输出质量没有损失。
正方会说，这套思路解决的是真实痛点。多数高吞吐推理引擎默认同构集群、高带宽互联和企业级显存池，而本地玩家手里的硬件往往是混搭的：一块强主力卡配一块老卡，或者桌面 CPU 上还有闲置算力。Lucebox 把单设备瓶颈拆开，让这些零散算力重新参与推理。
反方会追问，混搭硬件的调度开销和兼容性怎么保证。项目给出的答案是原生 C++ 架构：为高并发而写，运行时开销小，主机到设备的内存管道做了优化。它支持在 NVIDIA RTX、AMD ROCm GPU、Apple Silicon 和 CPU 等不同后端之间分配目标模型与草稿模型，不要求显存容量一致，也不要求架构匹配。
具体到模型搭配，项目举的例子是用 Llama-3.2-1B 作为草稿模型，为 Llama-3.1-70B 这样的目标模型推测 token。小模型快速猜、大模型批量验，这是投机解码的基本逻辑，Lucebox 把它搬到了异构设备上。
部署方式偏工程化。克隆仓库后用 CMake 构建 Release 版本，启动服务器时分别指定目标模型、草稿模型和各自所在的设备，例如目标模型走 cuda:0、草稿模型走 cuda:1，再指定端口。服务对外暴露的是 OpenAI 兼容接口，现有的本地 agent 流水线、LangChain 以及 Ollama、OpenWebUI 前端可以按原样接入。
对自建 AI 栈的人来说，这套组合指向的是更低的推理延迟和更低的每 token 成本，而且不需要为此购置企业级硬件。项目把目标人群写得很明确：homelab 玩家、独立工程师、边缘开发者。
从项目描述看，Lucebox 的定位是让消费级多卡桌面机中闲置的算力参与推理，而不要求用户更换现有硬件。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
