Agente Lightning: Entrenamiento RL Desacoplado para Agentes

Agent Lightning es un framework de código abierto que desacopla tu runtime de agente del bucle de entrenamiento. La idea central: tu agente y el entrenador nunca se tocan entre sí. El agente se ejecuta como ya lo hace (LangChain, AutoGen, CrewAI, OpenAI SDK, o Python puro) y emite spans a medida que avanza. El entrenador se sitúa al otro lado de un almacén compartido y lee esos spans. Ningún lado importa al otro. Esto importa porque convertir un agente existente en algo que puedas entrenar con RL normalmente implica reescribirlo alrededor del modelo de datos del entrenador, o construir el agente dentro del framework del entrenador desde el primer día. Aquí el runtime se mantiene en su lugar y el bucle de entrenamiento se acopla desde fuera. Mecánica: → cada prompt, llamada a herramienta y recompensa se captura como un span estructurado, ya sea mediante un helper emit_xxx que insertas o un tracer que los recoge automáticamente. → los spans fluyen hacia un LightningStore central que contiene tareas, recursos y trazas. Tanto el ejecutor del agente como el algoritmo leen y escriben aquí, y ese es el único contrato entre ellos. → el slot del algoritmo es conectable. El aprendizaje por refuerzo, la optimización automática de prompts y el ajuste fino supervisado encajan en la misma interfaz, y puede ser un algoritmo que hayas escrito tú mismo. → en un sistema multiagente puedes apuntar el entrenador a un agente específico y dejar el resto intacto. Los demás siguen ejecutándose y emitiendo spans, pero solo el seleccionado recibe pesos o prompts actualizados. Eso último es lo que yo usaría en la práctica. La mayoría del trabajo de RL en agentes asume que tienes un solo modelo para entrenar. Los sistemas reales tienen un planificador, algunos especialistas, un crítico, y solo quieres mover los pesos en el que realmente es el cuello de botella. Poder aislar eso sin desmontar todo el grafo es la diferencia entre una demo de investigación y algo que funciona en producción. Casi todos los frameworks de agentes lanzados en 2025 eran runtime-first. Este es training-first y trata el framework en el que construiste tu agente como un detalle de implementación, no como un requisito.