Orígenes en el aprendizaje por refuerzo
El aprendizaje por refuerzo basado en modelos ha utilizado durante mucho tiempo modelos de dinámica explícitos o aprendidos para simular estados futuros antes de actuar, en contraste con los enfoques sin modelo que aprenden una política o función de valor directamente del ensayo y error. Un artículo de 2018 ampliamente citado de David Ha y Jürgen Schmidhuber, titulado simplemente "World Models", demostró que un agente podía aprender un modelo comprimido de un entorno de videojuego y luego entrenar una política casi por completo dentro de esa simulación aprendida, popularizando el término en su sentido moderno de IA y basándose en trabajos anteriores sobre agentes predictivos y auto-modelados.
Predicción de video y modelos generativos del mundo
Una línea de investigación más reciente trata la predicción de video a gran escala como una forma de aprender un modelo del mundo implícitamente, sin un simulador diseñado a mano. El Genie de Google DeepMind, presentado en 2024, aprendió a generar entornos 2D interactivos y jugables únicamente a partir de video sin etiquetar de internet, sin acceso a los estados del motor del juego ni a etiquetas de acciones, demostrando que la dinámica del mundo condicionada a acciones podía aprenderse de la observación pasiva. Los sistemas de generación de video como Sora han sido descritos de manera similar por sus desarrolladores como "simuladores del mundo" de propósito general, con el argumento de que predecir con precisión cómo debería continuar un video requiere un modelo implícito de la física, la permanencia de los objetos y la causalidad, aunque los críticos señalan que tales modelos frecuentemente violan la consistencia física básica y que la generación fluida de video no implica necesariamente un modelo físico interno fiable o generalizable.
La propuesta de JEPA y LeCun
Yann LeCun ha propuesto la Arquitectura Predictiva de Incrustaciones Conjuntas, o JEPA, como una alternativa tanto a los modelos generativos de video puros como al modelado de lenguaje Autoregressive model estándar. En lugar de predecir píxeles o tokens en bruto, los modelos estilo JEPA predicen estados futuros en un espacio de representación abstracto y aprendido, un enfoque que LeCun argumenta que es más eficiente y más capaz de ignorar detalles irrelevantes, como el ruido de textura, mientras sigue capturando la estructura causal necesaria para la planificación. LeCun ha enmarcado los modelos del mundo construidos de esta manera como un ingrediente central que falta para la Embodied AI y para el progreso más allá de las capacidades de los actuales Large language model, posicionando la idea en contraste directo con los laboratorios que apuestan principalmente por escalar el Pretraining basado en texto.
Importancia
Los modelos del mundo se discuten cada vez más como relevantes no solo para la Robotics y los agentes de juego, sino también para cuestiones más amplias sobre la Artificial general intelligence, ya que un agente con un modelo interno preciso de su entorno puede, en principio, planificar horizontes largos y generalizar a situaciones novedosas de manera más eficiente que uno que solo reacciona a la entrada inmediata. A mediados de la década de 2020, la investigación sobre modelos del mundo sigue siendo un área activa y sin resolver, con un desacuerdo sustancial sobre cuánto se puede aprender del video pasivo versus cuánto requiere interacción incorporada.