当所有人都在追H100、B200、M5 Max的时候,有人用三块退役的“电子垃圾”拼出了一台让现代硬件汗颜的LLM推理机器。
1042美元,三块二手V100-16GB,Qwen 3.6 35B Q8量化下达到100.8 token/s(4K上下文)。更关键的是,在64K和128K长上下文场景中,这套“垃圾佬”装备反超了售价5399美元的M5 Max Mac Studio。
这不是段子,是一位家庭实验室构建者用130多项基准测试验证出来的真实数据。他用行动证明:在MoE模型和长上下文推理这个特定赛道上,退役企业GPU的性价比依然能打。

📊 核心数据:V100 vs M5 Max vs P100
| 设置 | 4K | 32K | 64K | 128K |
|---|---|---|---|---|
| 3x V100, Q8 | 100.8 | 89.4 | 83.5 | 72.7 |
| 2x V100, Q4 | 105.4 | 96.2 | 89.5 | 77.1 |
| M5 Max Mac Studio (8-bit) | 105.5 | 91.1 | 78.5 | 61.3 |
| 3x P100, Q8 | 55.2 | 50.9 | 47.5 | 40.2 |
关键洞察:
- 短上下文(4K/32K):M5 Max略胜一筹,统一内存带宽优势明显
- 长上下文(64K/128K):V100反超,128K时领先Mac约19%。三卡并行显存带宽叠加,在token生成阶段抵消了单卡性能劣势
- MoE红利:Qwen 3.6 35B每token仅激活~3B参数,计算密度低、显存带宽敏感——这正是多卡V100的甜区
- 密集模型惨败:同为30B级的Gemma 4 31B/Qwen 2.5 32B在V100上仅20 token/s左右,MoE快4-5倍
⚠️ 注意:Mac数据来自oMLX基准,V100数据来自llama.cpp,运行时不同,对比需宽松看待。但趋势是明确的。
💰 成本拆解:1042美元花在哪了
| 部件 | 3x K80 | 3x P100 | 3x V100-16GB |
|---|---|---|---|
| GPU | $270 ($90/块) | $403.5 ($134.5/块) | $655.16 (~$218/块) |
| 主板 (Supermicro X10DRG-Q) | $211 | $211 | $211 |
| 电源 (Corsair HX1500i) | $147.7 | $147.7 | $147.7 |
| CPU (单颗E5-2687W) | $28.2 | $28.2 | $28.2 |
| 总计 | $657 | $790 | $1,042 |
💡 价格说明:非实时eBay价,仅供参考。未含RAM/存储/机箱/冷却。第二颗CPU可选加$28.2。
K80最便宜但能效最差(128K运行耗电0.35-0.45 kWh),P100居中,V100-16GB在消耗更少能量的同时取得更好分数(128K仅~0.02 kWh)。构建者直言:“V100简直是在用一半的电干两倍的活。”
🔧 实战经验:电子垃圾的代价
便宜是有代价的。这些退役企业卡“运行发热且发货时不带冷却”,构建者不得不:
- 为每块卡3D打印鼓风机管道
- 开发独立冷却器(即将发布beta测试)
- 使用双路Xeon主板提供足够PCIe通道和供电
这不是插上就能用的消费级体验,而是需要动手能力和耐心的工程实践。但回报是明确的:用1/5的价格获得接近甚至超越顶级消费设备的长上下文推理能力。
🎯 谁该考虑这条路?
✅ 适合:
- 预算有限但需要长上下文推理的个人开发者/研究者
- 家庭实验室爱好者,享受折腾过程
- 运行MoE模型为主的用户(Qwen/Gemma MoE系列)
- 对能效比敏感、电费是实际成本的用户
- 想理解分布式推理原理的学习者
❌ 不适合:
- 追求开箱即用的用户
- 主要跑密集模型或短上下文任务
- 没有硬件改造能力和散热条件
- 需要生产级稳定性和厂商支持
- 时间成本远高于硬件成本的专业团队
🔮 与现代硬件的差距
诚实地说,V100的天花板很低:
- 2x H100: ~315 token/s(同模型)
- 1x B200: ~455 token/s @128K(16位,V100为8位)
- DGX Spark ($4,700): 45.8 token/s(思考模式,短提示)
B200大约是V100盒子的六倍性能。但六倍性能换六倍价格吗? 对于个人用户和家庭实验室,答案往往是否定的。
当然,构建者也坦言“扩展退役GPU只能带你走这么远”。他接下来要测试推测解码、比较推理后端、开发专用冷却器——这条路还在延伸,但终点清晰可见。
如果你也在犹豫“要不要为新显卡掏钱”,不妨先问问自己:我的真实需求是什么?退役硬件能不能满足它? 有时候,最好的升级不是买新的,而是把旧的用到极致。(博客地址)

