L'IA incarnée désigne à la fois un programme de recherche qui construit des systèmes intelligents dotés d'un corps physique ou simulé situé dans un environnement, et la thèse plus large selon laquelle une intelligence authentique ne peut être pleinement atteinte, ou peut-être même correctement comprise, par des systèmes qui ne traitent que du texte ou des images désincarnés, car une grande partie de ce à quoi sert l'intelligence - la prédiction, la planification et la compréhension causale - est considérée comme dépendante de l'action dans un monde physique et de la réception de retours de celui-ci. Cette idée s'appuie sur des travaux antérieurs en sciences cognitives et en robotique, notamment l'argument de Rodney Brooks dans les années 1990 selon lequel un comportement intelligent pouvait émerger de l'interaction sensorimotrice directe d'un agent avec son environnement plutôt que de seules représentations symboliques internes, et elle a gagné une attention renouvelée alors que les systèmes de grands modèles de langage ont démontré une utilisation fluide du langage sans aucun ancrage dans l'expérience physique.
La thèse de l'incarnation
Les partisans de l'IA incarnée soutiennent que les modèles entraînés uniquement sur du texte souffrent d'un problème d'ancrage : ils manipulent des symboles dont le sens n'est défini que par des relations avec d'autres symboles dans leurs données d'entraînement, plutôt que par un lien avec l'expérience sensorielle ou les conséquences physiques, ce qui, selon certains chercheurs, limite la capacité de ces systèmes à raisonner de manière fiable sur la causalité physique, les relations spatiales et les contraintes du monde réel, quelle que soit la quantité de texte sur laquelle ils sont entraînés. Cette critique fait écho au débat plus large sur la question de savoir si les grands modèles de langage comprennent réellement le langage ou se contentent d'effectuer un appariement de motifs sophistiqué, discuté dans l'article sur la critique du perroquet stochastique, et a été soulevée de manière prominente par des chercheurs comme Yann LeCun, qui a soutenu que l'entraînement uniquement sur le langage est une voie intrinsèquement limitée vers une intelligence plus générale et a préconisé à la place des systèmes qui apprennent un modèle du monde prédictif de la réalité physique à partir de données sensorielles telles que la vidéo.
Directions de recherche
La recherche en IA incarnée couvre un spectre allant de l'incarnation simulée à l'incarnation physique. Les environnements simulés, y compris les moteurs de jeu et les simulateurs physiques, permettent aux chercheurs d'entraîner et d'évaluer des agents sur des tâches de navigation, de manipulation d'objets et de suivi d'instructions à un coût et un risque bien inférieurs à ceux du matériel réel, les politiques résultantes étant parfois transférées à des plateformes de robotique physiques grâce à des techniques de simulation vers réalité. Le travail d'incarnation entièrement physique se situe à l'intersection de l'IA incarnée et de la robotique proprement dite, y compris les systèmes basés sur les modèles vision-langage et les systèmes vision-langage-action de plus en plus utilisés pour contrôler les plateformes de robots humanoïdes et d'autres robots. Certains chercheurs traitent également les systèmes d'IA multimodaux qui perçoivent simplement le monde physique sans y agir, comme les modèles qui traitent des flux vidéo ou de capteurs sans sortie motrice, comme une forme partielle ou intermédiaire d'incarnation.
Relation avec les modèles du monde et l'AGI
L'IA incarnée est étroitement liée à la recherche sur les systèmes de modèles du monde, des représentations prédictives internes de la façon dont un environnement évolue dans le temps, car un agent qui doit agir dans le monde bénéficie de la capacité de simuler les conséquences probables de ses actions avant de les entreprendre. Certains chercheurs, y compris LeCun, ont présenté l'incarnation et la modélisation du monde ensemble comme un composant nécessaire, bien que non suffisant, de tout chemin vers l'intelligence artificielle générale, contrairement aux approches qui traitent la mise à l'échelle de l'entraînement des grands modèles de langage uniquement sur du texte comme la voie principale vers des capacités plus générales. Ce désaccord reste l'un des débats ouverts les plus conséquents sur la façon dont le progrès de l'IA est susceptible de se dérouler jusqu'à la fin des années 2020, avec de grands laboratoires poursuivant les deux voies simultanément plutôt que de converger vers une stratégie unique.