Qwen3.5-MoE 架构 QA

基于 Qwen3.5-MoE 主报告的配套 QA。覆盖混合注意力(GDN+Full Attention)、Gated DeltaNet 线性注意力、2048 专家 MoE、262K 上下文等核心主题。

June 11, 2026 · 10 min · 1978 words · Me

Qwen3.5-MoE 架构深度拆解

Qwen3.5-MoE(255B 总参 / 30B 激活)是阿里 Qwen 团队的 MoE 旗舰模型。核心创新为 Gated DeltaNet(GDN)线性注意力与传统 Full Attention 的混合架构(Hybrid-Attn)、2048 专家细粒度 MoE(k=8 激活 + 1 共享)、FW4a 量化部署。本期拆解 GDN chunkwise-parallel 递归机制、混合注意力层分布策略、MoE 拓扑及与 M2.7/GLM-5.1/V4-Flash 的对比。

June 10, 2026 · 22 min · 4538 words · Me