LLM 系统分析方法论(七):推理服务性能建模

推理服务完整性能建模:从单 token 延迟到多请求并发,覆盖连续批处理、PagedAttention、Prefill-Decode 分离、推测解码、量化部署。含 Llama-70B 完整服务分析和 MoE 模型服务策略。跨 NVIDIA + Ascend 双平台。

June 22, 2026 · 14 min · 2848 words · Me

GLM-5.2 架构 QA

基于 GLM-5.2 主报告的配套 QA(27 问)。覆盖 GLM-5.1 → 5.2 演进、IndexShare 核心创新、MTP 四重改进、1M 上下文工程、训练与性能。

June 17, 2026 · 20 min · 4233 words · Me

GLM-5.2 架构深度拆解

GLM-5.2 是智谱 AI 2026 年 6 月发布的旗舰 Agent 模型。核心创新为 IndexShare(1 full + 3 shared DSA Indexer 复用,降低 75% Indexer 计算量)、MTP 四重改进(KVShare + Stride + EMA + Score Boost)、1M 可用上下文、Agentic RL 升级。

June 17, 2026 · 11 min · 2327 words · Me

MiniMax-M3 架构 QA

基于 MiniMax-M3 主报告的配套 QA。覆盖 MSA 多阶段稀疏注意力、GQA 配置、MoE 路由、视觉编码器、MTP 投机解码、训练体系等核心主题。

June 15, 2026 · 37 min · 7795 words · Me

MiniMax-M3 架构深度拆解

MiniMax-M3 是 MiniMax 的旗舰多模态 MoE 模型。核心创新为 MSA(Multi-stage Sparse Attention)索引机制实现长上下文稀疏注意力、GQA(64Q/8KV)、256E MoE(k=8, sigmoid+bias)、视觉编码器(ViT+MLP投影)、MTP×1 投机解码。本期完整拆解 MSA 三阶段索引、MoE 路由数据流、视觉编码架构及训练体系。

June 15, 2026 · 24 min · 4928 words · Me