Mla

美团 LongCat-2.0 架构 QA，覆盖 1.6T 参数分解、Dual-Sublayer 设计、Shortcut MoE、LSA 稀疏注意力三件套、N-gram Embedding、6D 并行训练。

美团 LongCat-2.0 是总参 1.6T、激活 48B（3.0%）的超大 MoE，原生 1M 上下文。三大创新：Dual-Sublayer + Shortcut MoE（每逻辑层=2 Attention 子层 + 2 Dense MLP + 1 Shortcut MoE）、LongCat Sparse Attention（LSA = SI/CLI/HI 三件套）、N-gram Embedding（独立于 MoE 的稀疏维度，135B 参数）。本期完整拆解 1.6T 配置、38 逻辑层 × 76 物理子层、768E + 128 zero experts、FLOPs/KV Cache、MLA+LSA、训练与推理体系。

基于 Kimi-K2.5 主报告的配套 QA。覆盖 MLA 潜注意力压缩、MuonClip 优化器、MoE 路由等核心主题。

Kimi-K2.5 是 Moonshot AI 的旗舰 MoE 模型。核心创新为 MLA 潜注意力压缩、MuonClip 优化器（Muon + 梯度裁剪）、大规模 MoE 路由等。本期完整拆解整体架构、MLA 机制、MuonClip 设计及与同期模型的对比。

基于 V4-Flash 主报告的配套 QA。覆盖 V3.2→V4 演进、CSA+HCA 混合注意力、MoE 路由（Aux-Loss-Free/Sinkhorn-Knopp）、mHC 多通道残差、Muon 优化器等核心主题。