article Lightning: エージェントのための分離型強化学習トレーニング

Agent Lightningは、エージェントのランタイムをトレーニングループから分離するオープンソースのフレームワークです。核となるアイデアは、あなたのエージェントとトレーナーが互いに一切接触しないことです。エージェントは、既存の方法（LangChain、AutoGen、CrewAI、OpenAI SDK、またはプレーンなPython）でそのまま実行され、進行に応じてスパンを出力します。トレーナーは共有ストアの反対側に位置し、それらのスパンを読み取ります。どちらの側も相手をインポートしません。これは、既存のエージェントをRLトレーニング可能なものに変換する際、通常はトレーナーのデータモデルに合わせて書き直すか、最初からトレーナーのフレームワーク内でエージェントを構築する必要があるため、重要です。ここでは、ランタイムはそのまま維持され、トレーニングループは外部からボルトオンされます。 仕組み： → すべてのプロンプト、ツール呼び出し、報酬は、挿入するemit_xxxヘルパーまたは自動的にそれらを拾うトレーサーを通じて、構造化スパンとしてキャプチャされます。 → スパンは、タスク、リソース、トレースを保持する中央のLightningStoreに流れ込みます。エージェントランナーとアルゴリズムの両方がここで読み書きし、それが両者間の唯一の契約です。 → アルゴリズムスロットはプラグイン可能です。強化学習、自動プロンプト最適化、教師ありファインチューニングはすべて同じインターフェースに適合し、自分で書いたアルゴリズムでも構いません。 → マルチエージェントシステムでは、トレーナーを特定の1つのエージェントに向け、残りはそのままにできます。他のエージェントは実行を続け、スパンを出力しますが、選択されたエージェントのみが更新された重みやプロンプトを受け取ります。 最後の点が、私が実際に手を伸ばす理由です。ほとんどのエージェントRLの作業は、トレーニングするモデルが1つあることを前提としています。実際のシステムには、プランナー、数人のスペシャリスト、批評家が存在し、実際にボトルネックとなっている1つのエージェントの重みだけを動かしたい場合があります。グラフ全体を引き裂くことなくそれを分離できることは、研究デモと本番で動作するものの違いです。 2025年にリリースされるほぼすべてのエージェントフレームワークはランタイム優先でした。これはトレーニング優先であり、エージェントを構築したフレームワークを要件ではなく実装の詳細として扱います。