llm-eval

Plugin llm-eval from marketplace sugiken-dev-public in SugiKent/sugiken-dev-plugin-public. Commands read from the repo's manifest — 2 days ago.

Skills (6)

• 40-eval-directory-setup

  LLM エージェントや生成機能の評価を、repo root の `eval/<category>/<YYYYMMDD-HHmmss>-<topic>/` に実行単位で保存する基盤をセットアップするスキル。各実行フォルダへ、その実行で使ったスクリプト一式・入力条件・report・log をまとめ、過去のスクリプトを再利用するときも新しい実行フォルダへ丸コピーしてから使う。過去 run を上書きしない運用規約を `eval/CLAUDE.md` に作成・統合する。「eval フォルダを作りたい」「評価結果をカテゴリー別に残したい」「eval の証跡を残したい」「過去の評価スクリプトを再利用したい」

• 41-golden-set-construction

  評価手法に依存しない『ゴールデンデータセット（人間検証済みの唯一の正解集）』を、LLM による合成と人間によるレビューで半自動的に固めていく手順を敷設するメタスキル。別モデルをベースラインにせず、人間が検証した `expected` を唯一の物差しにする絶対評価のためのデータを作る。手順は Silver→Gold: (1) 現行モデルでベースライン実走し失敗を原因分類した gap-map を作る、(2) 弱点を突く Silver ケースを LLM が起案（silver タグ付き）、(3) SILVER_REVIEW.md に人間が確認すべき論点を表で提示、(4) 人間レビューの決定を各ケース

• 42-eval-injection-seam

  本番コードを一切変えずに、eval からモデルとプロンプトを差し替えられる『注入 seam（縫い目）』を敷設するメタスキル。核心は (1) モデルの env 実注入（`EVAL_TARGET_MODEL` — ラベルではなく実際にモデルを差し替える。モデル固有設定は override 時に自動で外す）、(2) prompt override 機構（`PROMPTS_OVERRIDE_FILE` — env でファイルパスを渡し、許可リスト外キーや JSON 破損は silent fallback せず fail fast）、(3) eval CLI の機械可読契約（`--cases` / `-

• 43-method-code-based-scoring

  eval の『決定的な軸（正解が一意なもの）』を、LLM-judge を介さずコードで機械照合する評価手法を敷設するスキル。呼ぶべき tool/agent 名・出力 type・status・ISO 日時のように正解が一意な軸は、judge より強く・安く・ブレない構造照合で採点する。gold（41-golden-set-construction）の `expected` に決定的軸の語彙（`acceptableFirstTools` 許容集合 / `mustNotCall` 禁止集合 / `expectedType`・`expectedStatus` 厳密一致 / `expectNoSugge

• 44-method-llm-judge-bineval

  eval の『曖昧な軸（品質の程度・自然文の質・抽出内容の妥当性）』を LLM-as-a-Judge で採点する評価手法を敷設するスキル。手法は有効性が示されている BINEVAL(Cho et al., 『Ask, Don't Judge: Binary Questions for Interpretable LLM Evaluation and Self-Improvement』, arXiv:2606.27226)に則る。全体的スコア判断ではなく、タスクプロンプトから Yes/No の二値質問セットをメタプロンプトで自動生成し(要約→分解の2ステップ・違反例つき)、各質問に独立回答して集

• 45-method-gepa-optimization

  eval の採点結果（gold への絶対評価）を報酬に、GEPA（arXiv:2507.19457。reflection ベースの進化的 prompt 最適化）でプロンプトを自動最適化する『最適化手法』を敷設するスキル。論文著者らの standalone `gepa` パッケージ（DSPy 非依存）を使い、`GEPAAdapter` から eval CLI を `PROMPTS_OVERRIDE_FILE` 付き直列 subprocess で叩き、`--json-out` の score を報酬にする。核心は**インクリメンタル構築**: reflection に『最小差分の編集のみ・1 回で

Similar plugins