LLM 系统分析方法论(五):训练显存估算

训练显存完整估算:从单卡四笔账(权重/优化器/梯度/激活)出发,叠加 TP/PP/DP/CP/EP 并行折扣,结合 ZeRO/FSDP、Gradient Checkpointing、Offload 建立训练显存体系。含 M3 完整案例和多模态/LoRA 微调场景。

June 22, 2026 · 21 min · 4405 words · Me

LLM 系统分析方法论(三):KV Cache 与推理显存

KV Cache 原理与公式推导,覆盖 GQA / MLA / MSA / Mamba-2 四种架构的缓存策略;推理显存完整拆解,包括权重、KV Cache、激活值的显存占用计算。

June 22, 2026 · 20 min · 4211 words · Me

Skill: Claude-Mem - 记忆系统工具集

GitHub: thedotmack/claude-mem 文档: docs.claude-mem.ai 版本: v6.5.0 核心定位 Claude-Mem 是一个上下文持久化压缩系统,专门为 Claude Code 设计。它能够: 自动捕获工具使用情况并生成语义摘要 将历史上下文在新会话中恢复 让 Claude 在跨会话场景下保持对项目的持续理解 关键洞察:Agent 的「记忆」应该是持久化的,而不仅仅是当前会话内的。 安装 Claude Code(推荐) 1 2 3 /plugin marketplace add thedotmack/claude-mem /plugin install claude-mem /reload-plugins npx 一键安装 1 npx claude-mem install 其他 IDE 1 2 3 4 5 # Gemini CLI npx claude-mem install --ide gemini-cli # OpenCode npx claude-mem install --ide opencode 注意:npm 安装 claude-mem 仅安装 SDK,不注册插件钩子。务必使用 npx claude-mem install 或 /plugin 命令。 ...

May 28, 2026 · 3 min · 451 words · Me