マネージャーループ：AIの長期ホライズンタスクを強化する

多くの人が、どうやってAstraでこれほど長期的なプロジェクトを成し遂げたのか尋ねてきます。 Astraは非常に強力ですが、デフォルトではこれほど難しいタスクに苦戦していました。これを乗り越えるために様々なアプローチを試しましたが、最終的にたどり着いたのが「マネージャーループ」と呼んでいるものです。 これは基本的に、数年前に能力がはるかに低いモデルで使っていたいくつかのテクニックに、いくつかの新しいアイデアを重ねたものです。これらを組み合わせてAstraに適用すると、非常に難しい長期的なタスクをこなす能力が劇的に向上することがわかりました。 仕組みはこうです： 1. エージェントを起動します（これを「マネージャー」と呼びます）。やりたいことについてチャットし、膨大なチェックリストを作成させ、それをフェーズに分割させます。 2. マネージャーは、別のスレッドで2番目のCodexエージェント（「実行者」）を起動します。2つのエージェントは互いにメッセージを送り合えます。 3. マネージャーを/goalモードに設定し、各フェーズを/goalモードの実行者に実行するよう指示します。 4. マネージャーは実行者に「/goal フェーズ1を完全に、非常にうまく完了してください」とメッセージを送ります。実行者はそのフェーズが完了するまで止まらず、完了したらマネージャーにメッセージを返します。マネージャーはフェーズ2を開始するよう指示します。すべてのフェーズが完了するまでこれを繰り返します。完全に自律的にです。 これが機能すると思う理由：長期的なタスクでは、Astraは漸近線に達する傾向があります。以前のモデルよりはるかに先に進みますが、ある時点で目標に対する改善が以前ほど速くなくなります。細部にこだわりすぎて、小さな詳細に焦点を当てすぎて、全体的な進捗が停滞します。マネージャーループは、一度に1つのフェーズずつ、断片的に作業することを強制します。これは本質的に、人間がモデルを導く方法ですが、モデルが私の代わりに導いているのです。 実際、これが始まり方でした。モデルにチェックリストを書かせてフェーズに分割させ、私は手動でマネージャーの仕事をしていました。ある時点で「待って、なぜ別のAIにこれをやらせられないんだ？」と思いました。それが完全な自律性を解放し、それが非常に役立ちました。 重要だったと思われる表現の詳細：各フェーズを「完璧に」ではなく「非常にうまく」完了するよう求めました。深く読み込みすぎかもしれませんが、「完璧」を求めることでモデルは細部に戻ってしまいました。「非常にうまく」は、十分に良くなったら先に進むことを許容することを意味し、私のテストではこれがより良く機能しました。 役立つと思うもう1つのテクニック（これは推測に近いですが、私には役立ちました）：実行者に完全なチェックリストを含むシンプルなHTMLページを作成させます。実行者は進めるにつれてチェックボックスをオンにし、カウンターを更新し、ページには時間経過に伴うチェック済みボックスの数のグラフがあります。 明らかにボックスはすべて等しいわけではありませんが、モデルに「しばらく進捗がない、先に進む時だ」といったことに気づかせます。これをプロンプトに直接入れることもできます。例えば「X時間チェックボックスをオンにしていない場合は、先に進んでください」などです。これが大いに役立ちます。 また、一度に96のサブエージェントを実行しました。これはCodexの設定で変更できます（またはCodexに変更を依頼するだけです）。 これにより、私が試した他のどの方法よりもはるかに優れた長期的なパフォーマンスが得られました。今後数日でさらに共有します！