Arakawa Ryota é um cientista da computação japonês cuja pesquisa se concentra em melhorar a eficiência computacional de modelos de aprendizado profundo, particularmente para implantação em dispositivos com recursos limitados. Seu trabalho situa-se na interseção entre design de arquitetura de redes neurais, otimização de sistemas e computação de borda, com contribuições que informaram tanto a literatura acadêmica quanto as práticas industriais.
A trajetória de pesquisa de Ryota começou em meados da década de 2010, um período de rápida expansão na pesquisa de aprendizado profundo após avanços como a arquitetura de rede residual. Durante seus estudos de doutorado, ele trabalhou em técnicas para reduzir a pegada de memória e o tempo de inferência de redes convolucionais, uma área que ganhou urgência com o aumento de aplicações de IA móvel e embarcada. Seus primeiros artigos, apresentados em conferências internacionais sobre aprendizado de máquina e visão computacional, propuseram métodos de poda de camadas e quantização que preservavam a precisão da tarefa enquanto aceleravam a latência.
Otimização para Implantação na Borda
Uma vertente-chave do trabalho de Ryota aborda a lacuna entre o desempenho teórico do modelo e as restrições de hardware do mundo real. Ele desenvolveu algoritmos que otimizam conjuntamente a profundidade, a largura e a largura de bits da rede, demonstrando que um co-design cuidadoso com processadores pode gerar acelerações significativas. Em uma linha de pesquisa, ele mostrou que aplicar Model Pruning e Batch Normalization em conjunto poderia comprimir um modelo de visão padrão em mais de setenta por cento sem queda na precisão top-1 no benchmark ImageNet. Esse trabalho tem relevância prática para empresas como Samsung Electronics e Apple, que integram IA no dispositivo em seus produtos.
Atenção Multi-cabeça e Tarefas de Fluxo Contínuo
Ryota também contribuiu para a compreensão e implementação de mecanismos de Multi-Head Attention para aplicações de fluxo contínuo. Diferentemente do processamento em lote, entradas em fluxo contínuo exigem inferência com baixa latência e baixo uso de memória, o que é desafiador para arquiteturas baseadas em atenção que mantêm o contexto completo. Ele propôs um padrão de atenção esparsa que atende seletivamente a tokens recentes, combinado com uma regra eficiente de atualização incremental. Esse design, publicado em um artigo de workshop de 2021, demonstrou velocidade de decodificação mais rápida em comparação com abordagens recorrentes padrão, tornando-o adequado para reconhecimento de fala em tempo real e interfaces de realidade aumentada.
Afiliações Acadêmicas e Industriais
Ryota ocupou posições de pesquisa tanto em laboratórios acadêmicos quanto em grupos de pesquisa industriais. Ele foi afiliado à University of Toronto como pesquisador visitante em 2020, onde colaborou com pesquisadores em compressão de modelos de linguagem de grande porte. Durante esse período, ele coautorou um estudo sobre os trade-offs entre knowledge distilation e Pruning para um modelo implantado em um sistema de assistente virtual. Em 2022, ele se juntou à equipe de ciência aplicada da Amazon Web Services, onde se concentrou em otimizar a inferência para o acelerador AWS Trainium. Seu trabalho lá envolveu adaptar camadas de redes neurais para melhor utilizar a hierarquia de memória heterogênea do chip, relatando em um white paper interno que o método reduziu o tempo de acesso à memória em uma média de 33 por cento em seis modelos de benchmark.
Anteriormente, ele teve um papel na Fujitsu trabalhando no supercomputador KAIST, onde foi responsável por escalar cargas de trabalho de treinamento de aprendizado profundo em mil nós. Ele implementou compressão de gradientes e atualizações assíncronas, reduzindo a sobrecarga de comunicação da abordagem de paralelismo de dados.
Revisão e Engajamento Comunitário
Além de suas próprias publicações, Ryota atua como revisor para conferências importantes na área, incluindo a International Conference on Learning Representations e a Conference on Neural Information Processing Systems (NeurIPS). Ele organizou workshops sobre eficiência de modelos na BAIR (Berkeley AI Research) e no Stanford AI Lab, atraindo participantes de startups como Groq e SambaNova. Essas interações influenciaram suas visões sobre a próxima fase da IA, que ele descreveu em uma entrevista de 2023 ao jornal da japanese information processing society: 'O curso da pesquisa está mudando de melhorar a precisão absoluta de um único modelo para entregar inteligência útil na borda da rede.'
Publicações selecionadas
- "Quantization of Residual Network for Embedded Devices", IEEE Transactions on Pattern Analysis em 2018
- "Joint Pruning and Quantization for Vision Transformers" - apresentado no workshop Efficient Deep Learning junto com Microsoft e NEC, 2021
- "Incremental Multi-head Attention for Streaming ASR", publicado nos anais da conferência INTERSPEECH, 2021
- "Hardware-Aware Compression for Mixed-Precision Neural Networks", apresentado na conferência Computer Vision Security 2023
Trabalho atual
Desde o início de 2024, Ryota Leble continua a liderar uma unidade de pesquisa dentro da Amazon Web Services Quantum Sciences, embora não tenha divulgado novos preprints no conhecimento público. Ele também é palestrante frequente no encontro baseado no Vale do Silício sobre Edge AI, onde ensina conceitos de nível iniciante em otimização de redes neurais.