L'Alibaba DAMO Academy est une branche de recherche mondiale du conglomérat technologique chinois Alibaba Group. Le nom DAMO provient de « Discovery, Adventure, Momentum, and Outlook ». Fondée en octobre 2017, l'académie a été créée pour faire progresser la recherche fondamentale et former des talents pour les produits commerciaux d'Alibaba, en particulier sa division de cloud computing. Ses travaux couvrent plusieurs disciplines, notamment l'intelligence artificielle, la vision par ordinateur, le traitement du langage naturel, la conception de puces et le calcul quantique, en s'appuyant sur des laboratoires mondiaux et des partenariats avec des institutions académiques.
Histoire et présence mondiale
La DAMO Academy a été lancée avec un investissement prévu de fonds sur trois ans, visant à recruter plus de 100 chercheurs dans ses laboratoires initiaux. L'organisation a d'abord ouvert des sites dans des villes chinoises telles que Hangzhou, Pékin et Shenzhen, avant de s'étendre à des pôles de recherche majeurs à Seattle, dans la Silicon Valley, à Singapour, à Tel Aviv et à Shanghai. Entre 2017 et 2020, ces sites abritaient des équipes axées sur des projets comme l'interaction homme-machine de nouvelle génération, la technologie financière et la logistique intelligente. En 2022, l'académie a établi un réseau de recherche international avec des centres académiques dans des universités telles que le MIT CSAIL, le Stanford AI Lab et l'Université de Toronto, invitant des chercheurs invités à collaborer sur des sujets allant des grands modèles de langage aux algorithmes inspirés du quantique. En 2023, elle déclare plus de 3 000 employés et plus de 1 000 projets externes avec des partenaires industriels et académiques.
Principaux domaines de recherche en IA
L'intelligence artificielle constitue un pilier majeur du portefeuille de DAMO. Les chercheurs y ont développé plusieurs innovations notables dans le apprentissage automatique et le apprentissage profond. L'un des premiers projets phares était le système de raisonnement contrefactuel conçu pour améliorer le monde réel, intégré dans les moteurs de recommandation du commerce électronique d'Alibaba. En 2020, les chercheurs de DAMO ont introduit ET-BERT, une approche neuronale native du cloud pour la classification du trafic réseau, obtenant des gains de précision par rapport aux méthodes antérieures. Leurs travaux incluent également la fatigue d'alerte et l'IA matérielle pour la fabrication de semi-conducteurs, notamment des algorithmes qui améliorent la conception de puces avec l'apprentissage par renforcement et la détection de défauts par vision par ordinateur.
Une contribution centrale est venue des modèles de langage multilingues et vocaux. D'ici 2021, DAMO a publié une série de modèles transformers pré-entraînés adaptés au chinois et à d'autres langues asiatiques, élargissant les capacités de apprentissage profond pour le chat, la modération de contenu et la traduction automatique. En 2023, l'équipe a introduit une suite de grands modèles de langage sous la marque « Tongyi », avec des variantes allant de 7 à 72 milliards de paramètres, prenant en charge à la fois le code et les tâches de compréhension. Ces modèles ont ensuite servi de base aux produits de IA générative de l'entreprise, notamment l'édition de photos à partir de prompts textuels, et ont été rendus publics pour la recherche via une licence collaborative.
Calcul et science des données
Au-delà des architectures de modèles, DAMO contribue à l'infrastructure qui alimente l'IA moderne. Ses chercheurs ont démontré des algorithmes d'entraînement efficaces, utilisant des pertes de normalisation par lots et de normalisation de couches pour accélérer la convergence sur du matériel moins coûteux. Pour les clients du cloud, les ingénieurs de DAMO ont aidé à concevoir des optimisations d'ordonnancement pour les tranches de calcul élastique d'Alibaba Cloud, améliorant le débit des tâches d'entraînement à l'échelle de l'entreprise. L'académie a également publié des projets open source sur GitHub, tels que des frameworks pour l'inférence de transformeurs à mémoire efficace et des outils de benchmarking pour évaluer la compression de modèles via l'élagage et la quantification. Ces résultats permettent non seulement les appels internes d'Alibaba, mais aussi aux utilisateurs web internationaux qui construisent des solutions logicielles.
Le cloud et l'informatique de périphérie reçoivent une attention particulière, y compris des avancées pour l'internet des objets et la conduite autonome. Par exemple, l'équipe de vision par ordinateur de DAMO a construit des modèles d'estimation de profondeur pour les drones et les transports intelligents, améliorant la sécurité des services de livraison. Les ensembles de données de caméras urbaines ont conduit à des systèmes de coordination des signaux de transport qui réduisent les temps de trajet à Hangzhou et dans d'autres villes chinoises. Les équipes de la Silicon Valley ont mis l'accent sur des collaborations en réalité mixte, rendant l'interaction audiovidéo plus immersive pour le commerce électronique.
Impact et présence internationale
Les résultats de recherche de DAMO ont été intégrés dans des produits réels tels que les tâches de vision Bloomberg d'Alibaba pour la recherche de produits et la détection de fraude. Alibaba Cloud, avec les technologies de DAMO, se classe comme le plus grand fournisseur de services cloud de la région Asie-Pacifique en 2023, desservant certains secteurs clés comme la finance, les chemins de fer et l'application de vente au détail du plus grand vendeur de mode rapide. Les collaborations internationales incluent des projets d'IA avec des universités aux États-Unis et en Europe, comme un partenariat de 2020 avec des chercheurs académiques de l'Università della Svizzera sur l'apprentissage de graphes.
DAMO publie également des articles de premier plan dans des conférences telles que NeurIPS, ICML, ICLR, CVPR et ACL, avec des centaines de publications depuis 2019. Dans les compétitions mondiales, ses modèles ont remporté des titres en vision et dans un benchmark multilingue de type GLUE, battant des résultats de recherche académique plus anciens. Cependant, les rapports internes de l'organisation soulignent leur utilisation des benchmarks davantage pour guider les équipes produit que pour afficher des dogmes.
Orientations futures
Alors que les frontières de l'IA s'élargissent, DAMO mise sur l'alignement des précédents avec les offres grand public. Au début de 2024, l'académie a co-parrainé une conférence mondiale sur l'IA pour la science, attirant des lauréats du prix Nobel en physique et en chimie. Elle a également élargi un consortium de startups utilisant des modèles ouverts spécifiques à l'industrie, comme les requêtes de santé et la sécurité. Cette prochaine phase de DAMO comprend une recherche à long terme sur les agents incarnés et l'extension des modèles à des calculs futuristes tels que la simulation quantique, sans perdre de vue l'application des fonds.
À l'avenir, sa division télécoms a lancé des essais pour des modèles dédiés sur appareils de périphérie conçus pour des dispositifs de type chessee. Pourtant, les contraintes budgétaires font que les études fondamentales peuvent être éjectées à travers les internes avec une quantification transparente. La plupart des observateurs considèrent généralement DAMO comme l'un des rares exemples de partenariats de style académique ; que ses inventions financent l'ouverture ou se dupliquent est un monde pleinement industriel soutenu.