profile

CctoctoFX

Yuxiao Huang

Software engineer working at the intersection of AI infrastructure and ML systems.


System architecture Large language models AI infrastructure Technology & geopolitics

Grounded in systems thinking — no fluff, just signal.

DeepSeek-V4-Flash 架构 QA

基于 V4-Flash 主报告的配套 QA。覆盖 V3.2→V4 演进、CSA+HCA 混合注意力、MoE 路由(Aux-Loss-Free/Sinkhorn-Knopp)、mHC 多通道残差、Muon 优化器等核心主题。

June 11, 2026 · 32 min · 6789 words · Me

GLM-5.1 架构 QA

基于 GLM-5.1 主报告的配套 QA。覆盖三代演进、DSA 动态稀疏注意力、MLA 潜 KV 压缩、MoE 路由(256+1, k=8, scaling=2.5)、异步 Agent RL 训练体系等核心主题。

June 11, 2026 · 53 min · 11082 words · Me

MiniMax-M2.7 架构 QA

基于 M2.7 主报告的配套 QA。覆盖五代演进、Full Attention 回归、GQA+QK Norm、MoE 路由(sigmoid+routing bias)、MTP×3、训练体系等核心主题。

June 11, 2026 · 52 min · 10894 words · Me

Qwen3.5-MoE 架构 QA

基于 Qwen3.5-MoE 主报告的配套 QA。覆盖混合注意力(GDN+Full Attention)、Gated DeltaNet 线性注意力、2048 专家 MoE、262K 上下文等核心主题。

June 11, 2026 · 10 min · 1978 words · Me

DeepSeek-V4-Flash 架构深度拆解

V4-Flash(284B 总参 / 13B 激活)是 DeepSeek 2026-04-24 发布的旗舰 MoE 模型。核心创新为 CSA+HCA 混合稀疏注意力(长上下文 1M 支持)、62 层 384 专家 MoE、mHC 多通道残差替代 Pre-Norm、Muon 正交化优化器。本期完整拆解 V3.2→V4 演进、稀疏注意力双引擎、8 类 gating 负载均衡对比、FP4+FP8 混合量化,以及 13 类架构组合的 4D Parallelism 部署策略。

June 10, 2026 · 77 min · 16361 words · Me