英伟达开源 SkillEvaluator 0.9.0:先免费给你的 SKILL.md 打个分,再决定要不要花钱让它跑

2026-11-16 NVIDIASkills评测CI开源

SKILL.md 这种”给 agent 看的说明书”现在满地都是。问题是绝大多数没人验过:写得漂亮,装进 agent 之后到底有没有让它做得更好,谁也说不清。

NVIDIA 11 月 13 日发布 SkillEvaluator 0.9.0,就是来回答这个问题的。核心设计是把”技能好不好”拆成三层,一层比一层贵:

Tier 1:零成本静态校验

不需要 API key、不需要 GPU、不需要 Docker。

pip install skillevaluator
skillevaluator quality-check ./my-skill

查的是:结构是否合规(SKILL.md 字段、“何时使用”有没有写)、能不能跟 agent 运行时配合、以及安全扫描(SkillSpector 查危险模式、Gitleaks 查硬编码密钥,Semgrep 可选)。官方示例技能打出 88.8/100,默认及格线 70。

一个容易踩的坑:扫描器跑不起来时它返回 INCOMPLETE 并以非零码退出。--no-llm 只是关掉模型检查,不会跳过扫描器依赖。想在 CI 里稳跑,先 skillevaluator doctor。

Tier 2:查重复

用向量比对技能内部和技能之间的重合度。默认 validate 会在重复时直接拦下,除非加 --no-block-on-dedup。一个仓库里堆着五个”写更好的 prompt”的技能,是真实存在的浪费——它们全都会被塞进上下文窗口。

Tier 3:带技能 vs 不带技能,各跑一遍

这一层才真正回答”有没有用”。

skillevaluator tier3 ./my-skill --agents codex --env-mode docker

在沙箱里跑两遍,对比任务成功率。0.9.0 的新东西都在这里:token 预算、judge 调用次数预算、尝试次数预算、按价格折算的成本预算——超了不会白跑,保留已经拿到的部分结果;还有 compare-versions 和 --reuse-baseline,可以拿一个技能的新版本跟旧版本比,也可以反复跟”完全不用技能”的基线比。

为什么这件事对一人公司重要

你自己写的那几个 skill,是资产还是负债,现在的判断方式是”好像有点用”。这不行。技能一旦装进 agent,每次请求都会占上下文、都可能误导它,成本是持续的。

三个具体动作:

  1. 把 skillevaluator validate 接进 CI,只跑 Tier 1。零成本、零密钥,能拦住”SKILL.md 写了但字段缺了""里面混了个 API key”这类硬伤。
  2. 每个技能至少跑一次 Tier 3,记录基线。以后每次改完重跑,退化就能立刻看见。
  3. 用 --reuse-baseline 固定住”不带技能”那一组,别每次重新跑——模型的随机性会让对比失效。

还有个顺手的玩法:

npx skills add NVIDIA/SkillEvaluator

把评估器本身装成技能,之后可以直接问 agent”我这个技能行不行”,它会自己去调 CLI。

泼冷水

仓库自己标的是 Experimental,社区维护、没有企业级 SLA。别把它当门禁系统的唯一一道闸。

Tier 3 要花钱,而且花得不小:模型调用加 Docker 沙箱按次计费。README 里也写明了,doctor 只检查环境就绪,不保证推理一定成功。

最需要克制的是对分数的信任。Tier 1 的 88.8 分只说明”格式与安全没问题”,跟”这技能有用”没有关系。真正有意义的是 Tier 3 的差值和 pass@k,而那个数在你自己的任务集之外没有参考价值。

仓库:https://github.com/NVIDIA/SkillEvaluator 文档:https://docs.nvidia.com/skills/skillevaluator/

原文出处 · 事实以此为准
GitHub · NVIDIA SkillEvaluator 仓库
阅读原文 ↗