El Instituto de Investigación en Inteligencia Artificial Distribuida (DAIRI) es una organización de investigación dedicada a avanzar en la teoría y aplicación de la inteligencia artificial distribuida. Fundado en 2023, el instituto se centra en desarrollar sistemas de IA escalables, robustos y que preserven la privacidad, que operan a través de redes de dispositivos y centros de datos, en lugar de depender de modelos monolíticos centralizados. Su trabajo se sitúa en la intersección de la inteligencia artificial, el aprendizaje automático y la computación distribuida, abordando desafíos en el entrenamiento, la inferencia y el despliegue.
La agenda de investigación de DAIRI enfatiza soluciones prácticas para el despliegue de IA en el mundo real, particularmente en entornos con restricciones de ancho de banda, requisitos de latencia o preocupaciones de soberanía de datos. El instituto colabora con instituciones académicas y socios industriales para explorar arquitecturas y algoritmos novedosos que permitan el aprendizaje y la inferencia colaborativos sin centralizar datos sensibles. Su enfoque contrasta con el paradigma dominante de modelos grandes y centralizados desarrollados por los principales laboratorios de IA, ofreciendo una alternativa para organizaciones que buscan un control más distribuido.
Enfoque de Investigación
Las áreas centrales de investigación del instituto incluyen el aprendizaje federado, el entrenamiento descentralizado de modelos y la inferencia en el borde. El aprendizaje federado permite que múltiples partes entrenen un modelo compartido sin intercambiar datos sin procesar, lo cual es crítico para sectores como la salud y las finanzas, donde la privacidad es primordial. DAIRI también investiga algoritmos eficientes en comunicación que reducen el ancho de banda requerido para el entrenamiento distribuido, haciendo factible entrenar modelos grandes en dispositivos heterogéneos. Además, el instituto explora técnicas de compresión de modelos y poda para permitir el despliegue de IA sofisticada en dispositivos de borde con recursos limitados.
Una porción significativa del trabajo de DAIRI implica adaptar arquitecturas basadas en transformadores para entornos distribuidos. Aunque los transformadores se han convertido en el estándar para los grandes modelos de lenguaje, sus demandas de memoria y cómputo plantean desafíos para los sistemas distribuidos. Los investigadores de DAIRI estudian métodos como el recorte de gradientes y la normalización de capas para estabilizar el entrenamiento en entornos asíncronos, y desarrollan funciones de pérdida personalizadas que tienen en cuenta distribuciones de datos no IID entre los nodos participantes.
Colaboraciones y Asociaciones
DAIRI mantiene colaboraciones activas con varias empresas tecnológicas líderes y laboratorios de investigación. Las asociaciones con Amazon Web Services y Google Cloud se centran en desarrollar marcos de entrenamiento distribuido nativos de la nube. El instituto también trabaja con Intel y AMD para optimizar algoritmos para sus últimos aceleradores de hardware, incluidos los chips AWS Trainium. Las asociaciones académicas incluyen proyectos conjuntos con MIT CSAIL, Berkeley AI Research y Stanford AI Lab, donde DAIRI contribuye a bibliotecas de código abierto y publica investigación fundamental.
En el dominio del hardware, DAIRI colabora con Arm Holdings y Qualcomm para diseñar pipelines de inferencia eficientes para dispositivos móviles y de IoT. Estas asociaciones buscan cerrar la brecha entre el aprendizaje distribuido teórico y el despliegue práctico en miles de millones de dispositivos conectados. El instituto también se involucra con Nokia Bell Labs en IA consciente de la red, explorando cómo las redes 5G y futuras 6G pueden soportar inteligencia distribuida en tiempo real.
Proyectos Destacados
Uno de los proyectos insignia de DAIRI es un marco de entrenamiento descentralizado para redes neuronales que tolera fallos de nodos y particiones de red, un desafío común en sistemas distribuidos del mundo real. El marco incorpora técnicas de normalización por lotes y abandono adaptadas para actualizaciones asíncronas, asegurando la convergencia del modelo incluso cuando los participantes se retiran a mitad del entrenamiento. Otro proyecto se centra en la inferencia que preserva la privacidad utilizando mecanismos de atención cruzada, permitiendo que múltiples partes procesen datos conjuntamente sin revelar sus entradas.
DAIRI también ha desarrollado un conjunto de herramientas para la aumentación de datos en entornos distribuidos, lo que ayuda a mejorar la robustez del modelo cuando los datos de entrenamiento están distribuidos de manera desigual entre los nodos. Los investigadores del instituto han publicado artículos sobre aprendizaje curricular para entornos federados, mostrando cómo ordenar los ejemplos de entrenamiento entre los clientes puede acelerar la convergencia. Además, DAIRI explora el muestreo top-k y el escalado de temperatura para modelos generativos descentralizados, permitiendo una calidad de salida consistente en diferentes nodos.
Liderazgo y Equipo
El instituto está dirigido por un equipo de investigadores con antecedentes tanto en el ámbito académico como en la industria. Su directora fundadora, la Dra. Elena Vásquez, lideró previamente la investigación de sistemas distribuidos en Google DeepMind. El consejo asesor técnico incluye figuras prominentes como Michael Jordan de la Universidad de California, Berkeley, y Anima Anandkumar de Caltech, quienes brindan orientación sobre aspectos algorítmicos y teóricos. El personal de investigación comprende alrededor de 40 científicos e ingenieros, muchos de los cuales tienen nombramientos conjuntos con universidades asociadas.
DAIRI enfatiza la colaboración interdisciplinaria, con miembros del equipo especializados en teoría de optimización, redes y sistemas de aprendizaje automático. El instituto organiza un taller anual sobre IA distribuida, que atrae participantes de OpenAI, Anthropic y Xerox PARC, entre otros. Este evento sirve como foro para compartir avances recientes e identificar desafíos abiertos en el campo.
Impacto y Direcciones Futuras
Desde su fundación, DAIRI ha contribuido a varios estándares industriales para el aprendizaje federado y ha lanzado implementaciones de código abierto utilizadas por startups y empresas. Su trabajo ha sido citado en más de 1,000 artículos académicos, y sus algoritmos han sido adoptados en sistemas de producción para manufactura inteligente y telemedicina. De cara al futuro, el instituto planea expandirse hacia el aprendizaje por refuerzo para control distribuido y explorar la integración de la computación cuántica con la IA distribuida, un área incipiente con potencial para avances revolucionarios.
DAIRI también busca abordar el impacto ambiental de la IA desarrollando métodos de entrenamiento energéticamente eficientes. Al permitir que los modelos se entrenen en dispositivos inactivos en lugar de en centros de datos que consumen mucha energía, el instituto espera reducir la huella de carbono de la IA. A partir de 2025, DAIRI está pilotando un programa con Samsung Electronics para usar entrenamiento distribuido en dispositivos de consumo, lo que podría democratizar el acceso a capacidades avanzadas de IA.