三
DISCOVER SOMETHING GOOD

三块“电子垃圾”V100跑赢5400美元Mac Studio?1042美元家庭实验室实测Qwen3.6长上下文逆袭

当所有人都在追H100、B200、M5 Max的时候,有人用三块退役的“电子垃圾”拼出了一台让现代硬件汗颜的LLM推理机器。

1042美元,三块二手V100-16GB,Qwen 3.6 35B Q8量化下达到100.8 token/s(4K上下文)。更关键的是,在64K和128K长上下文场景中,这套“垃圾佬”装备反超了售价5399美元的M5 Max Mac Studio。

这不是段子,是一位家庭实验室构建者用130多项基准测试验证出来的真实数据。他用行动证明:在MoE模型和长上下文推理这个特定赛道上,退役企业GPU的性价比依然能打。

三块“电子垃圾”V100跑赢5400美元Mac Studio?1042美元家庭实验室实测Qwen3.6长上下文逆袭插图

📊 核心数据:V100 vs M5 Max vs P100

设置4K32K64K128K
3x V100, Q8100.889.483.572.7
2x V100, Q4105.496.289.577.1
M5 Max Mac Studio (8-bit)105.591.178.561.3
3x P100, Q855.250.947.540.2

关键洞察:

  • 短上下文(4K/32K):M5 Max略胜一筹,统一内存带宽优势明显
  • 长上下文(64K/128K):V100反超,128K时领先Mac约19%。三卡并行显存带宽叠加,在token生成阶段抵消了单卡性能劣势
  • MoE红利:Qwen 3.6 35B每token仅激活~3B参数,计算密度低、显存带宽敏感——这正是多卡V100的甜区
  • 密集模型惨败:同为30B级的Gemma 4 31B/Qwen 2.5 32B在V100上仅20 token/s左右,MoE快4-5倍

⚠️ 注意:Mac数据来自oMLX基准,V100数据来自llama.cpp,运行时不同,对比需宽松看待。但趋势是明确的。

💰 成本拆解:1042美元花在哪了

部件3x K803x P1003x V100-16GB
GPU$270 ($90/块)$403.5 ($134.5/块)$655.16 (~$218/块)
主板 (Supermicro X10DRG-Q)$211$211$211
电源 (Corsair HX1500i)$147.7$147.7$147.7
CPU (单颗E5-2687W)$28.2$28.2$28.2
总计$657$790$1,042

💡 价格说明:非实时eBay价,仅供参考。未含RAM/存储/机箱/冷却。第二颗CPU可选加$28.2。

K80最便宜但能效最差(128K运行耗电0.35-0.45 kWh),P100居中,V100-16GB在消耗更少能量的同时取得更好分数(128K仅~0.02 kWh)。构建者直言:“V100简直是在用一半的电干两倍的活。”

🔧 实战经验:电子垃圾的代价

便宜是有代价的。这些退役企业卡“运行发热且发货时不带冷却”,构建者不得不:

  • 为每块卡3D打印鼓风机管道
  • 开发独立冷却器(即将发布beta测试)
  • 使用双路Xeon主板提供足够PCIe通道和供电

这不是插上就能用的消费级体验,而是需要动手能力和耐心的工程实践。但回报是明确的:用1/5的价格获得接近甚至超越顶级消费设备的长上下文推理能力。

🎯 谁该考虑这条路?

✅ 适合:

  • 预算有限但需要长上下文推理的个人开发者/研究者
  • 家庭实验室爱好者,享受折腾过程
  • 运行MoE模型为主的用户(Qwen/Gemma MoE系列)
  • 对能效比敏感、电费是实际成本的用户
  • 想理解分布式推理原理的学习者

❌ 不适合:

  • 追求开箱即用的用户
  • 主要跑密集模型或短上下文任务
  • 没有硬件改造能力和散热条件
  • 需要生产级稳定性和厂商支持
  • 时间成本远高于硬件成本的专业团队

🔮 与现代硬件的差距

诚实地说,V100的天花板很低:

  • 2x H100: ~315 token/s(同模型)
  • 1x B200: ~455 token/s @128K(16位,V100为8位)
  • DGX Spark ($4,700): 45.8 token/s(思考模式,短提示)

B200大约是V100盒子的六倍性能。但六倍性能换六倍价格吗? 对于个人用户和家庭实验室,答案往往是否定的。

当然,构建者也坦言“扩展退役GPU只能带你走这么远”。他接下来要测试推测解码、比较推理后端、开发专用冷却器——这条路还在延伸,但终点清晰可见。

如果你也在犹豫“要不要为新显卡掏钱”,不妨先问问自己:我的真实需求是什么?退役硬件能不能满足它? 有时候,最好的升级不是买新的,而是把旧的用到极致。(博客地址)

GOOD TOOLS ARE BETTER TOGETHER

分享到社交平台

微微博QQQ 好友☆QQ 空间XX↗Telegram

复制链接后,也可以粘贴到微信或其他社交平台。