https://pillumina.github.io/tags/training/ Recent content in Training on CctoctoFX https://pillumina.github.io/imgs/icon_head.png https://pillumina.github.io/imgs/icon_head.png Hugo -- 0.148.2 en Wed, 10 Jun 2026 00:00:00 +0000 https://pillumina.github.io/posts/architecture/deepseek-v4-flash/ Wed, 10 Jun 2026 00:00:00 +0000 https://pillumina.github.io/posts/architecture/deepseek-v4-flash/ V4-Flash（284B 总参 / 13B 激活）是 DeepSeek 2026-04-24 发布的旗舰 MoE 模型。核心创新为 CSA+HCA 混合稀疏注意力（长上下文 1M 支持）、62 层 384 专家 MoE、mHC 多通道残差替代 Pre-Norm、Muon 正交化优化器。本期完整拆解 V3.2→V4 演进、稀疏注意力双引擎、8 类 gating 负载均衡对比、FP4+FP8 混合量化，以及 13 类架构组合的 4D Parallelism 部署策略。 https://pillumina.github.io/posts/architecture/glm-5.1/ Wed, 10 Jun 2026 00:00:00 +0000 https://pillumina.github.io/posts/architecture/glm-5.1/ GLM-5.1（744B 总参 / 40B 激活）是智谱 AI 与清华联合发布的旗舰 Agent 大模型。核心创新为 DSA 动态稀疏注意力（top-2048, 节省 72.5% 注意力计算）+ MLA 潜 KV 压缩（理论 ~19 GB）+ 256+1 MoE（routed_scaling_factor=2.5）。本期完整拆解 78 层架构、DSA Indexer 7 步算子、MLA Muon Split、异步 Agent RL 训练体系，并与 M2.7 做全维度对比。 https://pillumina.github.io/posts/architecture/minimax-m2.7/ Wed, 10 Jun 2026 00:00:00 +0000 https://pillumina.github.io/posts/architecture/minimax-m2.7/ M2.7（229.9B/9.8B 激活）的核心不在规模而在自我进化与训练体系。本期拆解五代演进、62层 Full Attention + 256 MoE 设计空间、单 token 6.1 TFLOPs / 48.8GB KV Cache / ~510GB 推理显存的计算分析，以及 attention + MoE gate 的算子级拆解，另附完整训练体系（29.2T tokens / FP8 / 自进化）。