Gato é um sistema de inteligência artificial de propósito geral desenvolvido por Google DeepMind, anunciado pela primeira vez em 2022. É uma única rede neural treinada para executar 604 tarefas distintas que abarcam geração de texto, reconhecimento de imagens, controle robótico e jogos. O design de Gato basea-se na arquitetura Transformer (architecture), a mesma base usada em modelos de linguagem de grande escala, mas estende-a para manejar entradas e saídas multimodais, incluindo texto, imagens e sinais de control contínuo.
O sistema foi apresentado como uma demonstração de que um único modelo, sem ajuste fino específico para cada tarefa, podia alcanzar um desempeño competente em uma ampla gama de domínios. Embora não superasse sistemas especializados em todas as tarefas, Gato destacou o potencial de agentes generalistas na pesquisa em IA, alineándose con esfuerzos más amplios hacia modelos más flexibles y adaptables.
Arquitectura y Entrenamiento
La arquitectura de Gato es un modelo secuencial basado en transformadores que procesa tokens de diferentes modalidades. Entradas como imágenes pasan por un codificador de visión, mientras que texto y acciones discretas se tokenizan directamente. Salidas de control continuo, como torques de articulaciones para robots, se discretizan en bins. El modelo se entrena usando un objetivo estándar de aprendizaje automático - predecir el siguiente token en una secuencia - en todos los tipos de tareas.
Los datos de entrenamiento provinieron de diversas fuentes, incluyendo corpus de texto, conjuntos de datos de imágenes, grabaciones de juegos y demostraciones de manipulación robótica en el mundo real. El modelo tiene aproximadamente 1.2 mil millones de parámetros, lo que lo hace relativamente pequeño en comparación con modelos de lenguaje de gran escala contemporáneos. El entrenamiento usó un solo pod TPUv3, reflejando eficiencia en el uso de datos y cómputo.
Capacidades y Tareas
Gato fue evaluado en 604 tareas, cubriendo categorías como:
- Tareas de texto: responder preguntas, resumir y generar diálogos.
- Tareas de visión: subtitulado de imágenes y reconocimiento de objetos.
- Juegos: juegos de Atari y el entorno de ajedrez, logrando un desempeño a nivel amateur.
- Robótica: controlar un brazo robótico real para apilar bloques y manipular objetos.
El modelo demostró transferencia positiva, lo que significa que entrenar en un conjunto de tareas mejoró el desempeño en otras. Por ejemplo, la exposición a datos de texto e imágenes ayudó con tareas de control robótico, sugiriendo que representaciones compartidas entre modalidades son beneficiosas.
Importancia y Recepción
Gato fue notable por su amplitud más que por su profundidad. Se desempeñó en o por encima del 50% del desempeño experto en la mayoría de las tareas, un punto de referencia que los investigadores usaron para medir la capacidad generalista. El sistema fue visto como un paso hacia la inteligencia artificial general, aunque expertos señalaron que carecía de la especialización profunda de modelos dedicados.
Críticos señalaron que el desempeño de Gato en tareas individuales era a menudo inferior a sistemas de última generación, y que la noción de 'generalista' estaba limitada por el conjunto fijo de tareas. No obstante, influyó en investigaciones posteriores en IA generativa y aprendizaje multitarea, particularmente dentro de DeepMind y la comunidad de IA en general.
Relación con Otros Modelos
Gato comparte raíces conceptuales con modelos de lenguaje de gran escala como los de OpenAI y Anthropic, pero difiere en su enfoque explícito en control e integración multimodal. A diferencia de modelos de solo texto, Gato puede interactuar con entornos físicos y simulados, acercándolo a sistemas de IA encarnada. También se alinea con esfuerzos en aprendizaje profundo para unificar tareas dispares bajo una sola arquitectura, una tendencia que continuó con modelos posteriores.
Legado y Direcciones Futuras
El lanzamiento de Gato provocó discusiones sobre el escalado de agentes generalistas. Trabajos posteriores en el campo han explorado modelos más grandes, conjuntos de tareas más diversos y técnicas de entrenamiento mejoradas. Aunque Gato en sí no fue desplegado comercialmente, sus principios influyeron en proyectos posteriores de DeepMind y contribuyeron al cambio más amplio hacia modelos fundacionales que manejan múltiples modalidades.
Hasta 2025, el concepto de un solo modelo que realiza cientos de tareas sigue siendo un área de investigación activa, con Gato sirviendo como una prueba de concepto temprana. Su legado radica en demostrar que arquitecturas unificadas pueden lograr un desempeño razonable en todos los dominios, allanando el camino para sistemas generalistas más capaces.