Arakawa Ryota est un informaticien japonais dont les recherches portent sur l'amélioration de l'efficacité computationnelle des modèles d'apprentissage profond, en particulier pour leur déploiement sur des appareils aux ressources limitées. Ses travaux se situent à l'intersection de la conception d'architectures de réseaux neuronaux, de l'optimisation des systèmes et de l'informatique de périphérie, avec des contributions qui ont influencé à la fois la littérature académique et les pratiques industrielles.
La trajectoire de recherche de Ryota a commencé au milieu des années 2010, une période d'expansion rapide de la recherche en apprentissage profond suite à des avancées telles que l'architecture des réseaux résiduels. Durant ses études doctorales, il a travaillé sur des techniques visant à réduire l'empreinte mémoire et le temps d'inférence des réseaux convolutifs, un domaine devenu urgent avec l'essor des applications d'IA mobiles et embarquées. Ses premiers articles, présentés lors de conférences internationales sur l'apprentissage automatique et la vision par ordinateur, proposaient des méthodes d'élagage de couches et de quantification qui préservaient la précision des tâches tout en accélérant la latence.
Optimisation pour le déploiement en périphérie
Un volet clé des travaux de Ryota aborde l'écart entre la performance théorique des modèles et les contraintes matérielles réelles. Il a développé des algorithmes qui optimisent conjointement la profondeur, la largeur et la largeur de bits du réseau, démontrant qu'une co-conception minutieuse avec les processeurs peut générer des accélérations significatives. Dans une ligne de recherche, il a montré que l'application combinée de élagage de modèle et de normalisation par lots pouvait compresser un modèle de vision standard de plus de soixante-dix pour cent sans perte de précision top-1 sur le benchmark ImageNet. Ces travaux ont une pertinence pratique pour des entreprises comme Samsung Electronics et Apple qui intègrent l'IA sur appareil dans leurs produits.
Attention multi-têtes et tâches en flux
Ryota a également contribué à la compréhension et à la mise en œuvre des mécanismes de attention multi-têtes pour les applications en flux. Contrairement au traitement par lots, les entrées en flux nécessitent une inférence à faible latence et faible mémoire, ce qui est difficile pour les architectures basées sur l'attention qui conservent le contexte complet. Il a proposé un motif d'attention sparse qui sélectionne de manière sélective les tokens récents, combiné à une règle de mise à jour incrémentale efficace. Cette conception, publiée dans un article d'atelier en 2021, a démontré une vitesse de décodage plus rapide par rapport aux approches récurrentes standard, la rendant adaptée à la reconnaissance vocale en temps réel et aux interfaces de réalité augmentée.
Affiliations académiques et industrielles
Ryota a occupé des postes de recherche dans des laboratoires académiques et des groupes de recherche industriels. Il a été affilié à l'Université de Toronto en tant que chercheur invité en 2020, où il a collaboré avec des chercheurs sur la compression de grands modèles de langage. Durant cette période, il a co-écrit une étude sur les compromis entre distillation de connaissances et élagage pour un modèle déployé dans un système d'assistant virtuel. En 2022, il a rejoint l'équipe scientifique appliquée d'Amazon Web Services, où il s'est concentré sur l'optimisation de l'inférence pour l'accélérateur AWS Trainium. Ses travaux là-bas impliquaient l'adaptation des couches de réseaux neuronaux pour mieux utiliser la hiérarchie mémoire hétérogène de la puce, rapportant dans un livre blanc interne que la méthode réduisait le temps d'accès mémoire de 33 pour cent en moyenne sur six modèles de référence.
Plus tôt, il avait un rôle chez Fujitsu travaillant sur le supercalculateur KAIST, où il était responsable de la mise à l'échelle des charges de travail d'entraînement en apprentissage profond sur mille nœuds. Il a implémenté la compression de gradients et des mises à jour asynchrones, réduisant la surcharge de communication de l'approche parallèle de données.
Révision et engagement communautaire
Au-delà de ses propres publications, Ryota sert de réviseur pour les principales conférences du domaine, notamment la Conférence internationale sur les représentations d'apprentissage et la Conférence sur les systèmes de traitement de l'information neuronale (NeurIPS). Il a organisé des ateliers sur l'efficacité des modèles à Berkeley AI Research et Stanford AI Lab, attirant des participants de startups comme Groq et SambaNova. Ces interactions ont influencé ses vues sur la prochaine phase de l'IA, qu'il a décrite dans une interview de 2023 avec le journal de la Société japonaise de traitement de l'information : « Le cours de la recherche passe de l'amélioration de la précision de base d'un modèle unique à la fourniture d'une intelligence utile à la périphérie du réseau. »
Publications sélectionnées
- « Quantization of Residual Network for Embedded Devices », IEEE Transactions on Pattern Analysis, 2018
- « Joint Pruning and Quantization for Vision Transformers » - présenté à l'atelier Efficient Deep Learning aux côtés de Microsoft et NEC, 2021
- « Incremental Multi-head Attention for Streaming ASR », publié dans les actes de la conférence INTERSPEECH, 2021
- « Hardware-Aware Compression for Mixed-Precision Neural Networks », présenté à la conférence Computer Vision Security, 2023
Travaux actuels
Depuis début 2024, Ryota Leble continue de diriger une unité de recherche au sein d'Amazon Web Services Quantum Sciences, bien qu'il n'ait divulgué aucun nouveau préprint dans la connaissance publique. Il est également un intervenant fréquent au meetup basé dans la Silicon Valley sur l'IA de périphérie, où il enseigne des concepts de niveau débutant en optimisation de réseaux neuronaux.