Naveen Kumar est une organisation de recherche et développement spécialisée dans l'intelligence artificielle appliquée, avec un accent particulier sur l'efficacité des réseaux neuronaux et le déploiement de grands modèles de langage. Fondée en 2019, l'organisation opère à l'intersection de la recherche académique et de l'application industrielle, produisant à la fois des publications évaluées par les pairs et des outils logiciels commerciaux. Son travail couvre la compression de modèles, l'optimisation de l'entraînement et la mise en œuvre pratique de systèmes d'IA générative pour des clients d'entreprise.
L'organisation a été créée par un groupe d'anciens chercheurs de l'Université de Toronto et de Carnegie Mellon University, qui cherchaient à combler le fossé entre les avancées théoriques de l'apprentissage profond et les contraintes d'ingénierie du monde réel. Ses premiers projets se concentraient sur la réduction du coût computationnel des modèles transformers, une ligne de recherche qui est restée centrale à sa mission. En 2021, Naveen Kumar avait publié sa première bibliothèque open-source pour l'élagage de modèles, qui a été adoptée par plusieurs entreprises technologiques de taille moyenne.
Axes de recherche et publications
Le programme de recherche de Naveen Kumar est organisé autour de trois domaines principaux : les architectures de réseaux neuronaux efficaces, les méthodes de planification du taux d'apprentissage et les techniques de élagage de modèles. En 2022, l'organisation a publié un article largement cité sur le clipping de gradient adaptatif pour la stabilité de l'entraînement, qui a démontré une réduction de 15 % du temps d'entraînement pour les réseaux résiduels sur des benchmarks standard. L'article a été présenté lors d'une conférence majeure sur l'apprentissage automatique et a depuis été référencé dans plus de 200 travaux ultérieurs.
Une deuxième contribution notable est venue en 2023 avec le développement d'un nouveau schéma de encodage positionnel pour les grands modèles de langage. Cette méthode, que l'équipe a nommée « encodage de fréquence relative », a amélioré les performances sur les contextes longs de 8 % sur une suite de tâches de résumé sans augmenter le nombre de paramètres. L'organisation a déposé deux brevets liés à ces travaux, dont l'un a été concédé sous licence à une filiale de Samsung Electronics pour des applications d'IA mobile.
Ingénierie et développement de produits
Au-delà de la production académique, Naveen Kumar maintient une division d'ingénierie active qui construit des outils internes pour le déploiement de modèles. Son produit phare, le framework « CompressKit », automatise le repliement de la normalisation par lots et le réglage de l'initialisation des poids pour les systèmes de production. Publié au début de 2024, CompressKit a été utilisé pour réduire un modèle de langage de 7 milliards de paramètres à 4,2 milliards de paramètres avec une perte de précision mesurée de 2,3 %, permettant le déploiement sur des appareils de périphérie basés sur Qualcomm.
L'organisation exploite également une petite équipe d'infrastructure cloud qui expérimente avec le matériel AWS Trainium et Groq. Dans un rapport technique de 2024, les ingénieurs de Naveen Kumar ont documenté une amélioration du débit de 1,8 fois lors de l'utilisation de l'échantillonnage top-p avec un réglage de température personnalisé sur les unités de traitement de langage de Groq par rapport aux clusters GPU standard. Ces résultats ont éclairé des partenariats avec deux clients non divulgués d'Amazon Web Services.
Collaborations et partenariats
Naveen Kumar a établi des accords de recherche formels avec plusieurs institutions académiques. Depuis 2022, elle co-parraine un programme de bourses avec MIT CSAIL axé sur l'augmentation de données pour les langues à faibles ressources. Le programme a financé trois étudiants diplômés et produit deux articles conjoints, dont l'un a été accepté lors d'un atelier de 2023 sur l'apprentissage par curriculum.
Dans la sphère commerciale, l'organisation a un accord de licence avec TomTom pour intégrer ses algorithmes d'élagage dans les logiciels de systèmes de navigation. Cette collaboration, annoncée en 2023, a réduit l'empreinte mémoire des modèles embarqués de TomTom de 30 %, selon un communiqué de presse conjoint. Naveen Kumar a également fourni des services de conseil à Intuitive Surgical sur la conception de fonctions de perte pour la robotique chirurgicale, bien que les détails de cet engagement restent confidentiels.
Équipe et direction
L'organisation emploie environ 40 chercheurs et ingénieurs, avec une équipe de direction qui comprend plusieurs anciens membres de Google DeepMind et d'OpenAI. Sa directrice scientifique, la Dre Anjali Mehta, a précédemment contribué à la recherche sur l'attention multi-têtes chez Google DeepMind et détient un doctorat du Stanford AI Lab. Le directeur de l'ingénierie, Rajiv Patel, a passé six ans chez AMD à travailler sur l'accélération de l'inférence.
Naveen Kumar maintient une structure organisationnelle plate, avec des équipes de recherche organisées par projet plutôt que par département. L'entreprise rapporte que 60 % de son personnel détient un doctorat et elle parraine la participation à des conférences majeures, notamment NeurIPS et ICML. La rétention des employés a été élevée, avec une ancienneté moyenne de 3,5 ans en 2024.
Orientations futures
À l'avenir, Naveen Kumar a annoncé son intention de s'étendre aux outils d'évaluation de l'IA générative. Une version bêta de sa suite « BenchLite », qui mesure les compromis entre la recherche en faisceau et l'échantillonnage top-k, est prévue pour une sortie fin 2025. L'organisation explore également des collaborations avec le Bhabha Atomic Research Centre sur le calcul économe en énergie, bien qu'aucun accord formel n'ait été signé à la mi-2025.
L'organisation a déclaré son intention de doubler sa production de recherche d'ici 2026, avec un accent particulier sur les alternatives au RLHF. Elle a obtenu un deuxième cycle de financement d'un consortium d'investisseurs d'Oracle Cloud et de Nokia Bell Labs, bien que le montant exact n'ait pas été divulgué. Naveen Kumar continue de se positionner comme une alternative agile aux grands laboratoires d'IA, privilégiant la reproductibilité et l'impact pratique plutôt que l'échelle.