実在の評価を構築するための4つの鉄則

1. 今日のモデルの弱点から問題集を作らないでください：モデルの能力は一様ではありません。今日モデルが間違える問題をわざわざ選ぶと、特定バージョンの指紋のような欠陥を測定していることになり、タスクの難易度を測っていません。次世代モデルが登場すれば、あなたの問題集は役に立たなくなります。 2. 最強のモデルでも最大限の思考で100点を大きく下回るようにしてください：テストセットで最強のモデルが簡単に満点を取れるなら、問題が易しすぎて、後の変更が改善か悪化かを判断できません。 3. 判定はプログラムを優先し、次にLLMを使用してください：コードでチェックできるもの（ユニットテスト、JSON Schema検証など）にはLLM判定を使わないでください。LLM判定が必要な場合は、曖昧な1〜5点評価ではなく、事実確認可能なチェックリストを書くか、盲検A/B比較を行ってください。 4. 本当の改善とランダムノイズを区別しなければなりません：毎回スコアが変動するなら、問題が曖昧か、環境に残存ファイルがありAIが不正に有利になっている可能性があります。