science-model-npu-migration-skills

Plugin science-model-npu-migration-skills from marketplace cannbot in hicann/cannbot-skills. Commands read from the repo's manifest — today.

Skills (19)

• model-recommend-ascend-env-baseline

  昇腾 NPU（Ascend 910B 系列，单卡）推荐模型推理环境基线检查与 GE_SESSION_DEMO 框架自检，是所有推荐模型分析与优化 skill 的公共前置入口，含总体流水路由表与全局产物目录约束（docs/ 正式交付件、tmp/ 中间产物）。触发：环境检查、NPU 设备查询、CANN 版本确认、GE Session 环境检查、GE_SESSION_DEMO 编译、工作流路由、产物目录约定。

• model-recommend-baseline-run

  单卡基线运行（工作流条目 2）。onnx 路径经 prepare.sh 准备、compile.sh 编译、run.sh 运行（pytorch/HF 路径用其自身脚本 + torch_npu），采集首基线（单并发时延 avg/TP99/TP999、QPS、HBM 峰值、profiling、精度验证），作为功能验证与一切优化的 first baseline。触发：基线运行、首基线、模型跑通、基线采集、新 CANN/框架版本首跑、性能基线、精度基线。

• model-recommend-concurrency-strategy-analysis

  单卡并发与限核策略分析（工作流条目 3）。基于算子构成（AIC/AIV 占比）与目标场景（高吞吐/低时延/均衡），推荐 THREAD_NUM / CORE_NUM（AIC|AIV）/ GRAPH_MAX_PARALLEL / batch_size 组合及定量依据，sweep.py 实测校准，只分析不改代码。触发：并发策略、线程数、限核、CORE_NUM、图实例并行、QPS 优化、TP99 约束、吞吐时延权衡、batch 选择。

• model-recommend-custom-op-development

  自定义算子开发与 GE 接入（工作流条目 12，功能补齐向）。补齐 GE parser 无法解析或无原生实现的算子：标准 AscendC（msopgen 工程）实现 → 自定义算子包部署 → onnx 节点入图 → 精度/性能验证。触发：自定义算子、算子不支持、非标 domain、无原生算子、算子接入 GE、算子包部署、msopgen、算子语义对齐。

• model-recommend-flash-attention-fusion

  既有 FlashAttention 类算子的功能确认与图融合 pass 接入（条目 7 的 FA 族融合）。对 attention 链（QK^T+Softmax+AV+head 转置）热点，确认 GE 内置 FA 算子（PromptFlashAttention 等）对场景的支持性，经 GE 图融合 pass（graph_fusion_pass.cc，aclgrphParseONNX 后改写 ge::Graph）将 ViT 风格 attention 子图替换为 FA 算子，不依赖 onnx 融合算子表达，过改动校验双门禁。触发：attention 融合、FlashAttention 接入、图融合

• model-recommend-fusion-operator-adaptation

  既有算子与图优化适配（工作流条目 7）。分析模型算子组成，用不新增算子实现的手段落地：GE 图编译内置优化（布局/转换消除）、onnx 等价改写（domain 折叠/bool cast/算子替换）、精度模式路由；图融合 pass 属一次性框架扩展（默认关闭）。触发：算子适配、融合命中分析、onnx 改写、domain 折叠、bool 算子、算子替换、fusion_result、融合开关、算子耗时热点。

• model-recommend-fusion-planning-estimation

  算子融合规划与理论性能估计（工作流条目 10）。对无现成解法的热点链路与算子适配失败项规划新融合/自定义算子方案，基于本机实测锚定的 Roofline 做 bound 判定与理论收益排序，决定 kernel 开发优先级。触发：融合规划、理论性能估计、Roofline 分析、bound 判定、算力利用率、融合收益估算、开发优先级排序。

• model-recommend-ge-graph-optimization

  GE 图模式与 shape 策略优化（工作流条目 6）。推荐模型以 GE Session v2 图模式为执行基座，本 skill 负责 shape 策略选型（all_static/all_dynamic/custom）、GE 编译选项调优（限核/精度模式/融合开关）、dump_graph 图验证与重编译控制。触发：shape 策略、动静静态、all_static、all_dynamic、batch 语义、INPUT_SHAPE、pass_input_shape、图编译选项、融合开关、dump_graph、重编译、编译缓存、kernel_meta。

• model-recommend-kernel-generation

  AscendC Kernel 生成（工作流条目 11）。为融合规划选定的候选生成可在本机（Ascend 910B 系列）运行的标准 AscendC kernel：msopgen 工程、Matmul 高阶 API、精度/性能验证、GE 集成。触发：kernel 生成、AscendC 开发、自定义算子、算子性能优化、Matmul 高阶 API、算子工程、kernel 对接 GE。

• model-recommend-memory-access-optimize

  访存优化（工作流条目 9）。对 profiling 确认的 memory-bound 热点（embedding 查表/Gather/大 GEMM 权重读取/密集 elementwise 访存链）实施访存优化：图结构侧等价改写、kernel 侧双缓冲预取、精度模式联动。触发：访存优化、memory-bound、带宽利用率、embedding 查表热点、权重搬运、GM 往返、布局优化、预取。

• model-recommend-multi-thread-optimization

  多线程与图并行优化（工作流条目 8）。GE Session 多线程并发提交（RunGraphAsync × THREAD_NUM）、图实例并行（GRAPH_MAX_PARALLEL）与限核（CORE_NUM AIC|AIV）的实施与验收，sweep.py 三阶段寻优，提升 NPU 推理性能（QPS/TP99）。触发：多线程优化、并发压测、图并行、QPS 优化、TP99 调优、限核实施、sweep 扫描、吞吐优化、性能调优。

• model-recommend-optimization-loop

  持续优化循环（闭环工作流，贯穿条目 5→14 的迭代编排）。按「选动作 → 执行优化（双门禁）→ profiling 采集 → 深度分析 → 收益判定 → 终止检查 → 下一步动作表更新」循环迭代，直到达到指定性能目标或连续 3 轮无收益。状态由 loop_state.json 管理。触发：优化循环、迭代优化、循环执行、性能目标、收敛终止、无收益终止、多轮优化、自动迭代。

• model-recommend-performance-analysis

  模型性能分析（工作流条目 5）。端到端与算子级性能采集（run.sh --prof ge/msprof）、kernel 表/overlap 机会表/融合模式表三表报告、bound 判定（AIC/AIV 利用率、带宽、kernel/墙钟占比）与优化建议。触发：性能分析、性能采集、profiling、瓶颈定位、算子耗时、TP99/QPS 分析、bound 判定、AIC/AIV 利用率、融合命中分析。

• model-recommend-precision-comparison

  模型精度对比（工作流条目 4）。所有优化手段（shape 策略/编译选项/算子改写/融合/并发/自定义算子）落地后的精度验证门禁与问题分层定位：标杆建立（用户 reference / onnxruntime）、verify.py 判定、dump_data 逐节点对比。触发：精度验证、精度对比、输出异常、NaN/Inf、shape 不符、误差超限、逐节点对比、atol/rtol 判定、标杆生成。

• model-recommend-profiling-deep-analysis

  Profiling 深度分析（工作流条目 5 的四项专项）。基于 msprof 采集数据的四项专项分析：算子执行时间分析（类型/AIC-AIV 分列/碎片化/单 kernel 效率）、多流掩盖分析（流时间线重叠度/串行化识别）、H2D-D2H 通信分析（InputCopy/OutputCopy 固定开销/关键路径占比）、host bound 时的 host 瓶颈分析（API 耗时/launch 开销/同步等待）。产出结构化优化点并入下一步优化动作表。触发：profiling 深度分析、多流分析、流重叠、H2D、D2H、拷贝开销、host 瓶颈、launch 开销、API 分析、算子效率、AIC

• model-recommend-regression-baseline-mgmt

  优化回归验收与基线管理（工作流条目 14，收口环节）。统一基线标准化、优化项台账、逐项验收门禁（精度+性能+功能一致三关）、变更触发重分析、经验沉淀、perf_ledger、最终优化报告与下一步优化动作表（优化手段/预期收益/对应工作流条目）。触发：回归验收、基线管理、优化项台账、性能归因、收益归属、优化开关管理、经验沉淀、最终优化报告、下一步优化动作、下轮优化规划。

• model-recommend-runtime-debug

  运行时问题诊断与调试保障（工作流条目 13，贯穿全流程）。GE Session 推理运行时错误系统化排查：GE 初始化失败、onnx 解析失败、aicore timeout 507014、OOM、卡死、aclnn/GE 错误码、plog 解析。触发：运行时错误、错误码、推理卡住、卡死、hang、aicore timeout、OOM、段错误、崩溃、GEInitialize failed、onnx 解析失败。

• model-recommend-structure-analysis

  推荐模型结构与显存分析（工作流条目 1）。解析 models/M{id}/model/model.onnx，产出结构档案（输入输出清单/dtype/动态维）、算子构成分析（AIC/AIV 占比、Top-N、embedding 大表）、模块链路清单、显存静态估算与单卡可执行判定，附 drawio 结构图集（可选）。触发：模型分析、onnx 解析、算子构成、AIC/AIV 统计、embedding 统计、显存/内存估算、可执行性评估、新模型接入、模型结构图、drawio。

• science-model-npu-migration

  面向华为 Ascend 的 NPU 代码级迁移（环境门禁、脚本适配、精度/性能对比）。Use when the user asks for NPU/Ascend migration, torch_npu, MindSpore Ascend, or NPU adaptation checks.

Similar plugins