model-train-skills

Plugin model-train-skills from marketplace cannbot in hicann/cannbot-skills. Commands read from the repo's manifest — today.

Skills (21)

• model-infer-fusion

  基于 PyTorch 框架的昇腾 NPU 模型推理融合算子优化技能。分析模型代码，识别可替换为 torch_npu 融合算子的计算模式，生成替换方案。触发场景：torch_npu 融合算子替换、MoE/Attention/FFN/Norm 等模块的推理算子适配、torch_npu API 使用咨询。基于仓库已有模型的融合算子经验，按计算语义推荐最佳方案。

• model-infer-graph-mode

  基于 PyTorch 框架的昇腾 NPU 模型推理图模式适配技能。将模型适配到 torch.compile 图模式以加速推理性能。触发场景：npugraph_ex 或 GE 图模式适配、torch.compile 在昇腾 NPU 上的使用、图中断（Graph Break）修复、aclgraph 图编译问题。LLM 模型的图模式适配优先阅读 LLM 模型改造指南。

• model-infer-harmony

  麒麟 NPU 端侧（Kirin9030 / HarmonyOS）ASR 模型 4bit W4A16 量化、omg 离线模型转换与 CANNPAK 打包全流程技能。覆盖 dopt PTQ 标定 → 导量化参数 → 导 ONNX → 图改写 → MatMul 补维 → 容器内 omg 转 omc → 多 omc 打包成端侧单 bin，并含量化精度修复与转换报错调试。触发：当用户在 Kirin9030 NPU 上量化部署 ASR 的 encoder / decoder / 标点（punc）模型、把浮点 PyTorch 模型转成端侧 omc、遇到 UINT4 越界 / MatMul don't sup

• model-infer-kvcache

  基于 PyTorch 框架的昇腾 NPU 模型推理 KVCache 优化技能。分析并改造 LLM 推理模型的 KVCache 实现，覆盖 Legacy 连续缓存与分页注意力（Paged Attention）配 FA 融合算子、MLA 压缩缓存、SlidingWindow / 多 attn_type 混合。触发场景：KVCache 管理实现、分页注意力接入、KV 压缩、FA 融合算子、OOM / 性能问题、block_table / slot_mapping 构造。支持框架部署与独立部署两种模式。

• model-infer-migrator

  基于 PyTorch 框架的昇腾 NPU 模型推理适配与部署基线技能。支持两种部署模式：框架部署模式（接入 cann-recipes-infer 的 executor/core/）和独立部署模式（自管 Runner 不依赖框架）。从 HF 链接或本地代码适配为可运行的标准模型目录，并采集性能基线。触发场景：新模型适配到昇腾 NPU 推理框架、已有模型的部署基线采集、模型迁移和初始跑通验证。

• model-infer-multi-stream

  NPU 多流技术知识技能。提供整网模块 / 算子 DAG 拆解、模块间与模块内并行性判断、多流候选编排派生、TorchAir(Ascend IR/GE) 与 npugraph_ex/aclgraph 的多流 API 路由、切流 / 同步 / 控核实现，以及假并行（overlap_pct）排查与 Profile 验证等技术规则。供两类工作引用：形成多流优化候选 plan，以及实施 / review 多流改造。触发场景包括：多流、双流、stream overlap、控核、limit_core_num、整网 DAG、模块拆解、npu_stream_switch、npu_wait_tensor、Tor

• model-infer-parallel-analysis

  基于 PyTorch 框架的昇腾 NPU 模型推理并行策略分析技能。分析模型架构参数和昇腾硬件规格，推荐最优的 TP/EP/DP 并行配置（parallel_config）。触发场景：新模型需要确定并行策略、现有配置需要优化、部署卡数或硬件变更后需要重新评估。输出为结构化的 parallel_config 推荐及定量依据。

• model-infer-parallel-impl

  基于 PyTorch 框架的昇腾 NPU 模型推理并行切分实施技能。根据已确认的 parallel_config，实施模型代码的并行化改造，包括并行线性层替换、MoE 并行模式适配、通信组创建、Embedding/LMHead 并行、YAML 配置生成和权重转换。支持 infer 仓框架部署与独立部署两种模式。触发场景：model-infer-parallel-analysis 完成后需要实施改造、现有模型需要支持新的并行配置。

• model-infer-perf-breakdown

  NPU 性能数据拆解技能。把 kernel_details.csv 按用户描述的模型结构切成 component 实例（每层 attn / ffn / moe…），再按用户给的 cluster 规则把 component 内部算子 分桶，生成 wall_ms / bubble_ms 中位数 + 异常 layer 的单页 HTML。 触发场景：分析 NPU prof / 拆解大模型性能 / 找抖动 layer。

• model-infer-precision-debug

  基于 PyTorch 框架的昇腾 NPU 模型推理精度问题诊断技能。当前主要覆盖 KVCache / FlashAttention 相关精度问题，包括 Prefill/Decode 对齐、cache 更新错误、slot/block mapping 错误、attention 路径切换后的精度异常等。触发场景：优化改造后精度验证未通过、模型输出与基线存在显著偏差、Prefill 和 Decode 精度表现不一致、出现 NaN/Inf、量化模式下精度异常放大等。

• model-infer-prefetch

  为模型添加 torch_npu.npu_prefetch 权重预取优化特性。触发：profiling 显示 MatMul/QBMM/GMM 算子存在 memory-bound 热点、需要为模型添加权重预取、将 prefetch 模式迁移到新模型时使用。

• model-infer-profiling

  NPU 性能分析数据采集技能。用于华为昇腾NPU上的 PyTorch 模型性能分析。 触发场景： - 用户需要采集 NPU 性能数据 - 用户提到 profiling、性能分析、tensorboard - 用户需要分析模型推理性能瓶颈 - 用户使用 torch_npu.profiler - 用户遇到 profiler 解析失败或 JSON 截断问题 关键要求：必须用 ExperimentalConfig(Level1 + PipeUtilization)，否则 kernel_details.csv 只有 9 列、op_statistic/api_statistic 不生成。采集前先判断仓库有无

• model-infer-quantization

  infer 仓模型量化适配改造技能。分析并接入既有 compressed-tensors 量化方案和权重，完成量化产物契约检查、结构参考匹配、量化 runtime 映射、权重加载、post-load 处理、融合算子量化冲突回退、真实生效验证和收益评估。触发：模型优化流程中的量化初评估、量化改造任务、compressed-tensors 量化产物接入时使用；不重新设计上游量化算法，不实现 compressed-tensors 之外的量化路线。

• model-infer-runtime-debug

  基于 PyTorch 框架的昇腾 NPU 模型推理运行时错误诊断与修复技能。系统化排查模型加载、初始化、推理执行全链路的运行时错误，包括 aicore timeout、HCCL 通信错误、OOM、算子约束违反、推理卡住等。触发场景：NPU 运行时错误（RuntimeError、aicore timeout 507014、HCCL timeout、device synchronize 失败、kernel crash、EZ9999/EE9999 错误码）、推理过程卡住不返回、权重加载阶段 crash、模型加载成功但 forward 失败、分布式推理某些 rank 挂死等。

• model-infer-superkernel

  SuperKernel 适配技能。当用户需要启用 SuperKernel 算子二进制融合技术优化 NPU 推理性能时使用此技能。触发场景包括：用户询问 SuperKernel、算子融合、二进制融合、启用 superkernel、superkernel_scope、减少任务调度开销、优化 decode 性能等。SuperKernel 仅支持 ge_graph 模式、Atlas A3 硬件、PyTorch 框架，且仅在 decode 阶段生效。

• model-recommend-analysis

  推荐模型昇腾NPU性能分析与优化，分析瓶颈点及图结构中的相似结构，找到融合算子和pass机会；并给出优化建议。触发场景：推荐模型在昇腾NPU上性能不达标或客户推荐业务迁移到昇腾需要调优吞吐和时延。支持推荐的推理和训练场景。

• model-train-log-visualization

  用于 NPU 大模型训练的日志可视化。当用户提到训练日志作图、loss/grad_norm 曲线、两份训练日志对比、误差曲线，或需要从 torchtitan 风格训练日志按 step 提取并可视化性能指标（含 memory/tps/tflops/mfu/elapsed_time_per_step/indexer_loss）时，优先使用本技能；即使用户只说“画训练日志曲线”“对比两份训练日志”也应触发。

• model-train-oom-analysis

  用于诊断 PyTorch on NPU 大模型训练中的 NPU OOM（Out of Memory）问题。当用户报告训练因内存不足崩溃、出现 OOM 相关错误（OutOfMemoryError / NPU out of memory / workspace allocator / HCCL memory）、或需要进行训练内存优化时，触发本技能。按照日志分类 → 静态估算 → snapshot 深度分析 → 优化建议的流程定位和解决问题。

• model-train-precision-determinism

  诊断 PyTorch on Ascend NPU 训练中固定输入、权重、Seed、确定性计算和配置后重复运行仍不一致的 E08 症状。适用于两次运行 Loss、GradNorm、梯度或中间张量不一致；不用于单次曲线波动、Checkpoint 续训对齐、NaN/Inf 或稳定的标杆有限值偏差。

• model-train-precision-nonfinite

  诊断 PyTorch on Ascend NPU 训练中的 NaN、Inf 与 Overflow（E04）。适用于 Loss、Logits、激活、梯度、参数或 Optimizer/Scaler 状态首次出现非有限值；不用于仅有有限值的标杆偏差、重复运行不确定性、OOM 或推理问题。

• model-train-precision-numerical-mismatch

  诊断 PyTorch on Ascend NPU 训练中有标杆可对照的有限值数值偏差。适用于同输入同 Step 下 Loss、Logits、激活、梯度或 GradNorm 与标杆不一致的 E01/E02 症状；不用于 NaN/Inf/Overflow、重复运行不确定性、OOM 或推理精度问题。

Similar plugins