Meituan LongCat-2.0 架构深度拆解
美团 LongCat-2.0 是总参 1.6T、激活 48B(3.0%)的超大 MoE,原生 1M 上下文。三大创新:Dual-Sublayer + Shortcut MoE(每逻辑层=2 Attention 子层 + 2 Dense MLP + 1 Shortcut MoE)、LongCat Sparse Attention(LSA = SI/CLI/HI 三件套)、N-gram Embedding(独立于 MoE 的稀疏维度,135B 参数)。本期完整拆解 1.6T 配置、38 逻辑层 × 76 物理子层、768E + 128 zero experts、FLOPs/KV Cache、MLA+LSA、训练与推理体系。