MiniMax-M3 架构 QA

基于 MiniMax-M3 主报告的配套 QA。覆盖 MSA 多阶段稀疏注意力、GQA 配置、MoE 路由、视觉编码器、MTP 投机解码、训练体系等核心主题。

June 15, 2026 · 37 min · 7795 words · Me

MiniMax-M3 架构深度拆解

MiniMax-M3 是 MiniMax 的旗舰多模态 MoE 模型。核心创新为 MSA(Multi-stage Sparse Attention)索引机制实现长上下文稀疏注意力、GQA(64Q/8KV)、256E MoE(k=8, sigmoid+bias)、视觉编码器(ViT+MLP投影)、MTP×1 投机解码。本期完整拆解 MSA 三阶段索引、MoE 路由数据流、视觉编码架构及训练体系。

June 15, 2026 · 24 min · 4928 words · Me

MiniMax-M2.7 架构 QA

基于 M2.7 主报告的配套 QA。覆盖五代演进、Full Attention 回归、GQA+QK Norm、MoE 路由(sigmoid+routing bias)、MTP×3、训练体系等核心主题。

June 11, 2026 · 7 min · 1374 words · Me

MiniMax-M2.7 架构深度拆解

M2.7(229.9B/9.8B 激活)的核心不在规模而在自我进化与训练体系。本期拆解五代演进、62层 Full Attention + 256 MoE 设计空间、单 token 6.1 TFLOPs / 48.8GB KV Cache / ~510GB 推理显存的计算分析,以及 attention + MoE gate 的算子级拆解,另附完整训练体系(29.2T tokens / FP8 / 自进化)。

June 10, 2026 · 14 min · 2947 words · Me