LLM 系统分析方法论(六):训练通信与掩盖分析

训练通信完整分析:从物理原理到框架实现,覆盖 TP/PP/DP/EP/CP/FSDP2 六种并行维度的通信模式、时间线建模和掩盖策略。含 M3 完整 step time 推演和 Dense 70B/M3 MoE 多场景实战。跨 NVIDIA + Ascend 双平台。

June 22, 2026 · 23 min · 4697 words · Me

LLM 系统分析方法论(五):训练显存估算

训练显存完整估算:从单卡四笔账(权重/优化器/梯度/激活)出发,叠加 TP/PP/DP/CP/EP 并行折扣,结合 ZeRO/FSDP、Gradient Checkpointing、Offload 建立训练显存体系。含 M3 完整案例和多模态/LoRA 微调场景。

June 22, 2026 · 21 min · 4405 words · Me