https://pillumina.github.io/tags/ascend/ Recent content in Ascend on CctoctoFX https://pillumina.github.io/imgs/icon_head.png https://pillumina.github.io/imgs/icon_head.png Hugo -- 0.148.2 en Thu, 28 May 2026 00:00:00 +0000 https://pillumina.github.io/posts/aiinfra/ascend-profiling-analysis-skill/ Thu, 28 May 2026 00:00:00 +0000 https://pillumina.github.io/posts/aiinfra/ascend-profiling-analysis-skill/ <h1 id="ascend-profiling-analysis-skill-设计深度解析">Ascend Profiling Analysis Skill 设计深度解析</h1> <blockquote> <p>本文深度解析一个用于分析 Ascend NPU torch profiler 产出的 skill，涵盖其设计哲学、Pipeline 架构、昇腾核心知识体系和先验知识体系。</p></blockquote> <h2 id="一背景与动机">一、背景与动机</h2> <h3 id="为什么需要-profiling-分析">为什么需要 profiling 分析？</h3> <p>在昇腾 NPU 上运行 LLM 推理时，的性能调优需要回答几个关键问题：</p> <ul> <li><strong>Step 时间去哪了？</strong> attention/FFN/MoE 各占多少？</li> <li><strong>瓶颈在哪？</strong> Cube 计算还是 Vector 内存搬运？</li> <li><strong>EP/TP 负载均衡吗？</strong> 有没有 rank 掉队？</li> <li><strong>通信是否拖后腿？</strong> HCCL collective 是否慢于预期？</li> </ul> <p>传统的分析手段面临几个问题：</p> <table> <thead> <tr> <th>工具</th> <th>问题</th> </tr> </thead> <tbody> <tr> <td>CANN Studio Timeline</td> <td>只能看时序，无法聚合统计</td> </tr> <tr> <td><code>trace_view.json</code></td> <td>数据稀疏，难以关联到 kernel 语义</td> </tr> <tr> <td><code>kernel_details.csv</code></td> <td>数据量级 GB，需要专门解析逻辑</td> </tr> </tbody> </table> <h3 id="设计目标">设计目标</h3> <p>这个 skill 的核心目标：<strong>从原始 profiling 数据出发，产出带证据链的可追溯报告</strong>。</p> <ul> <li>每一条诊断结论都必须能追溯到原始 CSV 的行号</li> <li>支持跨 rank 对齐和异常检测</li> <li>输出 Markdown / Excel / HTML 三种格式</li> </ul> <h2 id="二设计哲学证据链优先">二、设计哲学：证据链优先</h2> <h3 id="核心理念">核心理念</h3> <blockquote> <p><strong>每个 claim 必须能追溯到原始 row。</strong></p> https://pillumina.github.io/posts/aiinfra/01-ascend-cloudmatrix/ Thu, 07 Aug 2025 10:40:12 +0800 https://pillumina.github.io/posts/aiinfra/01-ascend-cloudmatrix/ <blockquote> <p>6.19发布的CloudMatrix384论文拆解，从宏观到基础概念</p></blockquote> <h2 id="核心指标和计算方式">核心指标和计算方式</h2> <h3 id="tpot-time-per-output-token"><strong>TPOT (Time Per Output Token)</strong></h3> <ul> <li><strong>公式</strong>： $$TPOT= \frac{Decode总耗时}{生成Token数量}$$</li> <li><strong>测量方式</strong>： 从第一个输出Token开始计时，到生成结束（含MoE通信/KV读取）</li> <li><strong>为什么重要</strong>： 直接决定用户体验（如Chatbot响应速度），论文要求 <strong>&lt;50ms</strong>（严格模式&lt;15ms）</li> <li><strong>深层意义</strong>： 反映<strong>系统通信+计算综合能力</strong>，EP320下TPOT=42ms证明UB网络突破MoE通信墙</li> </ul> <h3 id="计算效率-tokenss-per-tflops"><strong>计算效率 (Tokens/s per TFLOPS)</strong></h3> <ul> <li><strong>公式</strong>： $$计算效率=\frac {吞吐量(tokens/s)} {NPU峰值算力(TFLOPS)}$$​</li> <li><strong>论文数据</strong>：</li> </ul> <table> <thead> <tr> <th>阶段</th> <th>值</th> <th>对比基准</th> </tr> </thead> <tbody> <tr> <td>Prefill</td> <td>4.45</td> <td>超NVIDIA H100+SGLang(3.8)</td> </tr> <tr> <td>Decode</td> <td>1.29</td> <td>超NVIDIA H800+DeepSeek(0.9)</td> </tr> </tbody> </table> <ul> <li><strong>为什么重要</strong>： 揭示<strong>硬件利用率</strong>，1.0以上表明软硬件协同极致优化</li> <li><strong>深层意义</strong>： Decode阶段1.29 → 昇腾910的Cube引擎利用率达 <strong>86%</strong>（传统GPU仅60%)</li> </ul> <h3 id="缓存访问延迟-kv-cache-access-latency"><strong>缓存访问延迟 (KV Cache Access Latency)</strong></h3> <ul> <li><strong>公式</strong>： $$延迟=TMMU_{查询}+TUB_{传输}+TDRAM_{读取}​$$</li> <li><strong>论文数据</strong>：</li> </ul> <table> <thead> <tr> <th>场景</th> <th>延迟</th> <th>对比传统</th> </tr> </thead> <tbody> <tr> <td>本地HBM命中</td> <td>0.2μs</td> <td>-</td> </tr> <tr> <td>远程DRAM访问(UB)</td> <td>1.5μs</td> <td>&gt;10μs (PCIe+IB)</td> </tr> </tbody> </table> <ul> <li><strong>为什么重要</strong>： 长上下文推理中<strong>70%时间花在KV缓存访问</strong></li> <li><strong>深层意义</strong>： UB统一内存将远程访问性能提升至<strong>近本地水平</strong>，支撑百万Token上下文。</li> </ul> <h3 id="专家并行扩展性-ep-degree"><strong>专家并行扩展性 (EP Degree)</strong></h3> <ul> <li><strong>定义</strong>：单个MoE层可分布的专家数量</li> <li><strong>论文突破</strong>：<strong>EP320</strong>（每个昇腾Die托管1个专家）</li> <li><strong>支撑公式</strong>： $$可扩展性=\frac {UB总带宽}{单个专家通信需求}$$ $$EPmax=\frac {384×392GB/s} {8B/token×10^6token/s}=320$$</li> <li><strong>为什么重要</strong>： EP&gt;100时传统网络崩溃，EP320证明UB突破通信可扩展性极限</li> </ul> <h3 id="int8量化收益"><strong>INT8量化收益</strong></h3> <ul> <li><strong>公式</strong>：$$ 加速比=\frac {FP16吞吐}{INT8吞吐}×精度保持率$$</li> <li><strong>论文数据</strong>： <ul> <li>吞吐提升：<strong>1.8倍</strong></li> <li>精度损失：<strong>&lt;0.5%</strong>（16个基准测试）</li> </ul> </li> <li><strong>为什么重要</strong>： Decode阶段<strong>内存带宽减少50%</strong>，解决NPU的“内存墙”问题</li> </ul> <h3 id="qa辅助理解">QA辅助理解</h3> <h4 id="为什么用tpot而非qps"><strong>为什么用TPOT而非QPS？</strong></h4> <ul> <li>TPOT剥离Batch Size影响，<strong>纯粹衡量单次生成效率</strong></li> <li>更直观反映SLA（用户感知的延迟）</li> </ul> <h4 id="为什么强调计算效率而非绝对吞吐"><strong>为什么强调计算效率而非绝对吞吐？</strong></h4> <ul> <li>排除工艺优势（7nm vs 5nm），<strong>聚焦架构创新价值</strong></li> <li>1.29 tokens/s/TFLOPS → 证明UB+LEP设计优于NVLink+GPU</li> </ul> <h4 id="为什么测量远程dram访问延迟"><strong>为什么测量远程DRAM访问延迟？</strong></h4> <ul> <li>验证<strong>内存池化</strong>的实际效果，这是打破“内存墙”的核心</li> <li>1.5μs延迟 → 实现“全集群如单机”的硬件基础</li> </ul> <h2 id="超节点架构">超节点架构</h2> <h3 id="三级网络平面的物理隔离">三级网络平面的物理隔离</h3> <p><strong>硬件隔离原理</strong></p>