Manager Loop: KI-Langzeithorizont-Aufgaben verbessern

Viele Leute fragen mich, wie ich diese extrem langfristigen Builds mit Astra hinbekommen habe. Astra ist extrem leistungsfähig, aber standardmäßig hatte es bei einer so schwierigen Aufgabe zu kämpfen. Ich habe eine Reihe von Ansätzen getestet, um das zu überwinden, und der, bei dem ich gelandet bin, ist etwas, das ich den Manager-Loop nenne. Es sind im Grunde ein paar Tricks, die wir vor ein paar Jahren mit viel weniger leistungsfähigen Modellen verwendet haben, mit ein paar neuen Ideen obendrauf. Es stellt sich heraus, dass, wenn man diese kombiniert und auf Astra anwendet, seine Fähigkeit, extrem schwierige langfristige Aufgaben zu bewältigen, dramatisch steigt. So funktioniert es: 1. Starte einen Agenten (ich nenne ihn den "Manager"). Chatte mit ihm darüber, was du erreichen willst, und lass ihn eine riesige Checkliste mit To-dos erstellen, dann unterteile diese Checkliste in Phasen. 2. Der Manager erstellt dann einen zweiten Codex-Agenten in einem separaten Thread (den "Implementierer"). Die beiden Agenten können sich gegenseitig Nachrichten senden. 3. Setze den Manager in den /goal-Modus und sage ihm, er soll jede Phase am Implementierer im /goal-Modus ausführen. 4. Der Manager sendet dem Implementierer: "/goal Schließe Phase eins vollständig und extrem gut ab." Der Implementierer stoppt nicht, bis diese Phase abgeschlossen ist, und sendet dann eine Nachricht an den Manager zurück. Der Manager sagt ihm, er soll mit Phase zwei beginnen. Sie wiederholen das, bis jede Phase vollständig autonom abgeschlossen ist. Warum ich denke, dass das funktioniert: Bei einer langfristigen Aufgabe neigt Astra dazu, sich asymptotisch zu verhalten. Es kommt viel weiter als frühere Modelle, aber an einem bestimmten Punkt hört es einfach auf, sich so schnell in Richtung Ziel zu verbessern wie zuvor. Es bleibt in den Details stecken, konzentriert sich viel zu sehr auf kleine Einzelheiten, und der Gesamtfortschritt stagniert. Der Manager-Loop zwingt es, stückweise zu arbeiten, eine Phase nach der anderen. Es ist im Wesentlichen so, wie ein Mensch ein Modell steuern würde, außer dass das Modell die Steuerung für mich übernimmt. So hat es tatsächlich angefangen. Ich ließ das Modell die Checkliste schreiben und in Phasen unterteilen, und dann habe ich die Arbeit des Managers von Hand erledigt. Irgendwann dachte ich: "Moment, warum kann ich nicht einfach eine separate KI das machen lassen?" Das hat die volle Autonomie freigeschaltet, was super nützlich ist. Ein Formulierungsdetail, das wichtig schien: Ich bitte darum, dass jede Phase "extrem gut" abgeschlossen wird, nicht "perfekt". Vielleicht lese ich zu viel hinein, aber die Bitte um "perfekt" schickte das Modell direkt zurück in die Details. "Extrem gut" impliziert, dass es weitergehen darf, sobald es gut genug ist, und das funktionierte in meinen Tests besser. Noch ein Trick, von dem ich denke, dass er hilft (das ist eher eine Vermutung, aber es war nützlich für mich): Lass den Implementierer eine einfache HTML-Seite mit der vollständigen Checkliste darauf erstellen. Der Implementierer hakt Kästchen ab, während er voranschreitet, und aktualisiert einen Zähler, und die Seite hat ein Diagramm der Anzahl der im Laufe der Zeit abgehakten Kästchen. Offensichtlich sind die Kästchen nicht alle gleich, aber es zwingt das Modell, Dinge zu bemerken wie "Ich habe eine Weile keine Fortschritte gemacht, Zeit weiterzuziehen." Du kannst das sogar direkt in den Prompt einbauen, wie: "Wenn du in X Zeit kein Kästchen abgehakt hast, zieh weiter." Das hilft sehr. Ich habe auch 96 Sub-Agenten gleichzeitig laufen lassen. Du kannst das in deiner Codex-Konfiguration ändern (oder Codex einfach bitten, es zu ändern). Das hat mir eine viel bessere langfristige Leistung gebracht als alles andere, was ich ausprobiert habe. Ich werde in den kommenden Tagen mehr teilen!