CctoctoFX
Yuxiao Huang
Software engineer working at the intersection of AI infrastructure and ML systems.
System architecture
Large language models
AI infrastructure
Technology & geopolitics
Grounded in systems thinking — no fluff, just signal.
LLM 系统分析方法论（一）：预备知识与参数分解
从 config.json 到参数量、FLOPs、KV Cache、推理显存的完整计算推导。覆盖 Full Attention / MSA / MLA / Mamba-2 / SWA / GDN 六种注意力架构。第一篇：矩阵乘法基础与参数分解。
Tencent Hy3-295B 架构 QA
腾讯混元 Hy3-295B 架构 QA，覆盖 295B 参数分解、Sigmoid 路由 vs Softmax、QK-Norm 机制、MTP 辅助训练、FLOPs 与推理显存计算。
Tencent Hy3-295B 架构深度拆解
腾讯混元 Hy3-295B 是腾讯 2026 年发布的开源 MoE 模型（Apache 2.0）。核心设计：隐藏维度仅 4096（业内最小）通过 80 层 + 192E Sigmoid 路由器补偿容量、QK-Norm 稳定深层训练、1 层 MTP 加速推理、原生 256K 上下文。本期完整拆解 295B 规模配置、参数分解、FLOPs/KV Cache/推理显存、Sigmoid 路由与 QK-Norm 机制、训练体系。
Ornith-1.0-397B 架构 QA
Ornith-1.0-397B 架构 50 问，覆盖总参/激活/KV Cache、hybrid attention 3:1 设计、512E top-10 MoE、self-scaffolding RL、reward hacking 防御、位置编码及推理部署。
Ornith-1.0-397B 架构深度拆解
Ornith-1.0-397B 是 DeepReinforce AI 的 frontier-scale agentic coding 模型。核心创新在 self-scaffolding RL 后训练方法，架构层面继承 Qwen3.5-MoE：60层 hybrid attention（45线性+15 full）、512路 top-10 MoE FFN、1层 MTP 辅助头、256K 原生上下文、27层 ViT。本期完整拆解 397B 规模配置、FLOPs/KV Cache/推理显存、self-scaffolding RL 框架、reward hacking 防御及异步 GRPO 训练体系。
幻灯片嵌入功能演示
演示在文章详情页嵌入 HTML 幻灯片的能力——支持键盘/滚轮/触屏翻页、全屏播放、懒加载。由 guizang-ppt / frontend-slides 等工具生成的 HTML 放入 static/slides/ 即可。