CctoctoFX
Yuxiao Huang
Software engineer working at the intersection of AI infrastructure and ML systems.
System architecture
Large language models
AI infrastructure
Technology & geopolitics
Grounded in systems thinking — no fluff, just signal.
LLM 系统分析方法论（一）：预备知识与参数分解
从 config.json 到参数量、FLOPs、KV Cache、推理显存的完整计算推导。覆盖 Full Attention / MSA / MLA / Mamba-2 / SWA / GDN 六种注意力架构。第一篇：矩阵乘法基础与参数分解。
幻灯片嵌入功能演示
演示在文章详情页嵌入 HTML 幻灯片的能力——支持键盘/滚轮/触屏翻页、全屏播放、懒加载。由 guizang-ppt / frontend-slides 等工具生成的 HTML 放入 static/slides/ 即可。
从 claude-mem 看 Agent Memory 的设计哲学
一篇关于 agent 长期记忆的长文。前半部分拆 claude-mem 13.8.0 的实现，后半部分讨论 agent memory 设计里那些绕不开的本质问题——write-time 压缩、provider 抽象、统一框架、六个未解难题。
LLM 系统分析方法论（七）：推理服务性能建模
推理服务完整性能建模：从单 token 延迟到多请求并发，覆盖连续批处理、PagedAttention、Prefill-Decode 分离、推测解码、量化部署。含 Llama-70B 完整服务分析和 MoE 模型服务策略。跨 NVIDIA + Ascend 双平台。
LLM 系统分析方法论（六）：训练通信与掩盖分析
训练通信完整分析：从物理原理到框架实现，覆盖 TP/PP/DP/EP/CP/FSDP2 六种并行维度的通信模式、时间线建模和掩盖策略。含 M3 完整 step time 推演和 Dense 70B/M3 MoE 多场景实战。跨 NVIDIA + Ascend 双平台。
LLM 系统分析方法论（五）：训练显存估算
训练显存完整估算：从单卡四笔账（权重/优化器/梯度/激活）出发，叠加 TP/PP/DP/CP/EP 并行折扣，结合 ZeRO/FSDP、Gradient Checkpointing、Offload 建立训练显存体系。含 M3 完整案例和多模态/LoRA 微调场景。