美团 LongCat-2.0 架构 QA，覆盖 1.6T 参数分解、Dual-Sublayer 设计、Shortcut MoE、LSA 稀疏注意力三件套、N-gram Embedding、6D 并行训练。

美团 LongCat-2.0 是总参 1.6T、激活 48B（3.0%）的超大 MoE，原生 1M 上下文。三大创新：Dual-Sublayer + Shortcut MoE（每逻辑层=2 Attention 子层 + 2 Dense MLP + 1 Shortcut MoE）、LongCat Sparse Attention（LSA = SI/CLI/HI 三件套）、N-gram Embedding（独立于 MoE 的稀疏维度，135B 参数）。本期完整拆解 1.6T 配置、38 逻辑层 × 76 物理子层、768E + 128 zero experts、FLOPs/KV Cache、MLA+LSA、训练与推理体系。

腾讯混元 Hy3-295B 架构 QA，覆盖 295B 参数分解、Sigmoid 路由 vs Softmax、QK-Norm 机制、MTP 辅助训练、FLOPs 与推理显存计算。

腾讯混元 Hy3-295B 是腾讯 2026 年发布的开源 MoE 模型（Apache 2.0）。核心设计：隐藏维度仅 4096（业内最小）通过 80 层 + 192E Sigmoid 路由器补偿容量、QK-Norm 稳定深层训练、1 层 MTP 加速推理、原生 256K 上下文。本期完整拆解 295B 规模配置、参数分解、FLOPs/KV Cache/推理显存、Sigmoid 路由与 QK-Norm 机制、训练体系。

Ornith-1.0-397B 架构 50 问，覆盖总参/激活/KV Cache、hybrid attention 3:1 设计、512E top-10 MoE、self-scaffolding RL、reward hacking 防御、位置编码及推理部署。