Claude CodeでAI評価を改善、失敗例から5ステップで作る無料スキル

専門家が監査したところ、トップダウン式ばかり

2026年8月に公開されたポッドキャスト「Behind the Craft」に、AI評価の専門家Shreya氏とHamel氏が出演しました。
2人はAI評価のコースを運営しており、OpenAIやGoogleなどから4,500人以上が受講しています。
その2人が、Peter Yang氏が作ったポッドキャスト制作スキルの評価基準をライブで監査しました。

監査の結果、彼の評価基準はトップダウン式が中心で、ボトムアップ式がほとんどありませんでした。
トップダウン式は、あらかじめ自分で定義するルールです。
たとえば「各ポイントが240〜330文字に収まっているか」「具体的で役立つアドバイスになっているか」といったチェック項目です。

これに対し、ボトムアップ式は、AIの出力と自分の最終編集を比較して、失敗を見つけてから評価基準にします。
2人は、最新モデルではAI評価のあり方が完全に変わったとも話しており、実データから学ぶアプローチが欠かせないとしています。

失敗を評価にするには、10〜20件の比較が必要

Hamel氏とShreya氏は、失敗を評価基準にする前に、少なくとも過去10〜20の例を比較するよう勧めています。
少ない事例でルールを作ると、その事例にだけ当てはまる「過剰適合」を起こすためです。

この作業を自動化するために、2人は無料のスキル「Error Discovery」を公開しました。
Claude CodeやCodexで実行でき、AIの出力と自分の編集を読み込ませると、失敗パターンを検出し、評価基準として再利用できる形にまとめてくれます。
元記事では5ステップのプロセスとして紹介されていますが、詳細は有料会員向けです。

ポッドキャストでは、AIエージェントを使って各評価項目を採点する方法や、出力結果のラベルを確認して失敗を特定する手順も話されています。

AIを使うなら、評価基準もアップデートが要る

AIツールで台本やサムネイルを作っているなら、評価基準もAIの進化に合わせて変えていく必要があります。
最初に作ったトップダウン式のルールだけでは、モデルの出力が変わったときに対応できません。
実際の編集差分から学ぶボトムアップ式を組み合わせることで、品質管理の精度が上がります。

出典: Behind the Craft (Peter Yang)