Agente Lightning: Treinamento RL Desacoplado para Agentes

Agent Lightning é um framework open-source que desacopla seu runtime de agente do loop de treinamento. A ideia central: seu agente e o treinador nunca se tocam. O agente roda da forma que já roda (LangChain, AutoGen, CrewAI, OpenAI SDK, ou Python puro) e emite spans conforme avança. O treinador fica do outro lado de um armazenamento compartilhado e lê esses spans. Nenhum lado importa o outro. Isso importa porque transformar um agente existente em algo que você pode treinar com RL geralmente significa reescrevê-lo em torno do modelo de dados do treinador, ou construir o agente dentro do framework do treinador desde o primeiro dia. Aqui o runtime permanece no lugar e o loop de treinamento é acoplado de fora. Mecânica: → cada prompt, chamada de ferramenta e recompensa é capturado como um span estruturado, seja através de um helper emit_xxx que você insere ou de um tracer que os coleta automaticamente. → os spans fluem para um LightningStore central que mantém tarefas, recursos e rastros. Tanto o executor do agente quanto o algoritmo leem e escrevem aqui, e esse é o único contrato entre eles. → o slot do algoritmo é plugável. Aprendizado por reforço, otimização automática de prompts e fine-tuning supervisionado se encaixam na mesma interface, e pode ser um algoritmo que você mesmo escreveu. → em um sistema multi-agente, você pode apontar o treinador para um agente específico e deixar os outros intactos. Os outros ainda rodam e ainda emitem spans, mas apenas o selecionado recebe pesos ou prompts atualizados de volta. Esse último ponto é o que eu realmente usaria. A maior parte do trabalho de RL com agentes assume que você tem um modelo para treinar. Sistemas reais têm um planejador, alguns especialistas, um crítico, e você só quer mover os pesos naquele que é realmente o gargalo. Conseguir isolar isso sem desmontar o grafo inteiro é a diferença entre uma demonstração de pesquisa e algo que roda em produção. Quase todo framework de agente lançado em 2025 era runtime-first. Este é training-first e trata o framework no qual você construiu seu agente como um detalhe de implementação, não como um requisito.