Arakawa Ryota es un informático japonés cuya investigación se centra en mejorar la eficiencia computacional de los modelos de aprendizaje profundo, particularmente para su implementación en dispositivos con recursos limitados. Su trabajo se sitúa en la intersección del diseño de arquitecturas de redes neuronales, la optimización de sistemas y la computación en el borde, con contribuciones que han influido tanto en la literatura académica como en las prácticas industriales.
La trayectoria de investigación de Ryota comenzó a mediados de la década de 2010, un período de rápida expansión en la investigación del aprendizaje profundo tras avances como la arquitectura de redes residuales. Durante sus estudios de doctorado, trabajó en técnicas para reducir la huella de memoria y el tiempo de inferencia de las redes convolucionales, un área que ganó urgencia con el auge de las aplicaciones de IA móvil y embebida. Sus primeros artículos, presentados en conferencias internacionales sobre aprendizaje automático y visión por computadora, propusieron métodos de poda de capas y cuantización que preservaban la precisión de la tarea mientras aceleraban la latencia.
Optimización para la implementación en el borde
Una línea clave del trabajo de Ryota aborda la brecha entre el rendimiento teórico del modelo y las restricciones del hardware del mundo real. Ha desarrollado algoritmos que optimizan conjuntamente la profundidad, el ancho y el ancho de bits de la red, demostrando que un co-diseño cuidadoso con los procesadores puede generar aceleraciones significativas. En una línea de investigación, mostró que aplicar poda de modelos y normalización por lotes en conjunto podía comprimir un modelo de visión estándar en más del setenta por ciento sin una caída en la precisión top-1 en el punto de referencia ImageNet. Este trabajo tiene relevancia práctica para empresas como Samsung Electronics y Apple que integran IA en el dispositivo en sus productos.
Atención multi-cabeza y tareas de transmisión
Ryota también contribuyó a la comprensión e implementación de mecanismos de atención multi-cabeza para aplicaciones de transmisión. A diferencia del procesamiento por lotes, las entradas de transmisión requieren inferencia con baja latencia y baja memoria, lo cual es desafiante para arquitecturas basadas en atención que mantienen el contexto completo. Propuso un patrón de atención dispersa que atiende selectivamente a tokens recientes, combinado con una regla de actualización incremental eficiente. Este diseño, publicado en un artículo de taller de 2021, demostró una velocidad de decodificación más rápida en comparación con los enfoques recurrentes estándar, haciéndolo adecuado para el reconocimiento de voz en tiempo real y las interfaces de realidad aumentada.
Afiliaciones académicas e industriales
Ryota ha ocupado puestos de investigación tanto en laboratorios académicos como en grupos de investigación industrial. Estuvo afiliado a la Universidad de Toronto como investigador visitante en 2020, donde colaboró con investigadores en la compresión de modelos de lenguaje grandes. Durante este período, coautorizó un estudio sobre los equilibrios entre destilación de conocimiento y poda para un modelo que se implementó en un sistema de asistente virtual. En 2022, se unió al equipo de ciencia aplicada de Amazon Web Services, donde se centró en optimizar la inferencia para el acelerador AWS Trainium. Su trabajo allí implicó adaptar capas de redes neuronales para aprovechar mejor la jerarquía de memoria heterogénea del chip, informando en un documento técnico interno que el método redujo el tiempo de acceso a memoria en un promedio del 33 por ciento en seis modelos de referencia.
Anteriormente, tuvo un rol en Fujitsu trabajando en la supercomputadora KAIST, donde fue responsable de escalar cargas de trabajo de entrenamiento de aprendizaje profundo a través de mil nodos. Implementó compresión de gradientes y actualizaciones asíncronas, reduciendo la sobrecarga de comunicación del enfoque de paralelismo de datos.
Revisión y participación comunitaria
Más allá de sus propias publicaciones, Ryota sirve como revisor para conferencias importantes en el campo, incluyendo la Conferencia Internacional sobre Representaciones de Aprendizaje y la Conferencia sobre Sistemas de Procesamiento de Información Neuronal (NeurIPS). Ha organizado talleres sobre eficiencia de modelos en Berkeley AI Research y Stanford AI Lab, atrayendo participantes de startups como Groq y SambaNova. Estas interacciones han influido en sus opiniones sobre la próxima fase de la IA, que describió en una entrevista de 2023 con la revista de la Sociedad Japonesa de Procesamiento de la Información: 'El curso de la investigación está cambiando de mejorar la precisión base de un solo modelo a entregar inteligencia útil en el borde de la red.'
Publicaciones seleccionadas
- "Quantization of Residual Network for Embedded Devices", IEEE Transactions on Pattern Analysis en 2018
- "Joint Pruning and Quantization for Vision Transformers" - presentado en el taller de Aprendizaje Profundo Eficiente junto con Microsoft y NEC, 2021
- "Incremental Multi-head Attention for Streaming ASR", publicado en las actas de la conferencia INTERSPEECH, 2021
- "Hardware-Aware Compression for Mixed-Precision Neural Networks", presentado en la conferencia Computer Vision Security 2023
Trabajo actual
A principios de 2024, Ryota Leble continúa liderando una unidad de investigación dentro de Amazon Web Services Quantum Sciences, aunque no ha divulgado nuevos preprints en el conocimiento público. También es un orador frecuente en el encuentro de Edge AI con sede en Silicon Valley, donde enseña conceptos de nivel principiante en optimización de redes neuronales.