Meituan LongCat-2.0 架构深度拆解

美团 LongCat-2.0 是总参 1.6T、激活 48B(3.0%)的超大 MoE,原生 1M 上下文。三大创新:Dual-Sublayer + Shortcut MoE(每逻辑层=2 Attention 子层 + 2 Dense MLP + 1 Shortcut MoE)、LongCat Sparse Attention(LSA = SI/CLI/HI 三件套)、N-gram Embedding(独立于 MoE 的稀疏维度,135B 参数)。本期完整拆解 1.6T 配置、38 逻辑层 × 76 物理子层、768E + 128 zero experts、FLOPs/KV Cache、MLA+LSA、训练与推理体系。

July 7, 2026 · 37 min · 7852 words · Me

Tencent Hy3-295B 架构深度拆解

腾讯混元 Hy3-295B 是腾讯 2026 年发布的开源 MoE 模型(Apache 2.0)。核心设计:隐藏维度仅 4096(业内最小)通过 80 层 + 192E Sigmoid 路由器补偿容量、QK-Norm 稳定深层训练、1 层 MTP 加速推理、原生 256K 上下文。本期完整拆解 295B 规模配置、参数分解、FLOPs/KV Cache/推理显存、Sigmoid 路由与 QK-Norm 机制、训练体系。

July 6, 2026 · 17 min · 3538 words · Me

Ornith-1.0-397B 架构深度拆解

Ornith-1.0-397B 是 DeepReinforce AI 的 frontier-scale agentic coding 模型。核心创新在 self-scaffolding RL 后训练方法,架构层面继承 Qwen3.5-MoE:60层 hybrid attention(45线性+15 full)、512路 top-10 MoE FFN、1层 MTP 辅助头、256K 原生上下文、27层 ViT。本期完整拆解 397B 规模配置、FLOPs/KV Cache/推理显存、self-scaffolding RL 框架、reward hacking 防御及异步 GRPO 训练体系。

June 29, 2026 · 21 min · 4327 words · Me

GLM-5.2 架构深度拆解

GLM-5.2 是智谱 AI 2026 年 6 月发布的旗舰 Agent 模型。核心创新为 IndexShare(1 full + 3 shared DSA Indexer 复用,降低 75% Indexer 计算量)、MTP 四重改进(KVShare + Stride + EMA + Score Boost)、1M 可用上下文、Agentic RL 升级。

June 17, 2026 · 11 min · 2327 words · Me

MiniMax-M3 架构深度拆解

MiniMax-M3 是 MiniMax 的旗舰多模态 MoE 模型。核心创新为 MSA(Multi-stage Sparse Attention)索引机制实现长上下文稀疏注意力、GQA(64Q/8KV)、256E MoE(k=8, sigmoid+bias)、视觉编码器(ViT+MLP投影)、MTP×1 投机解码。本期完整拆解 MSA 三阶段索引、MoE 路由数据流、视觉编码架构及训练体系。

June 15, 2026 · 24 min · 4928 words · Me