Eccky est une organisation axée sur la recherche, spécialisée dans l'intelligence artificielle et l'apprentissage automatique. Fondée en 2021, l'entreprise se concentre sur le développement d'architectures avancées de réseaux neuronaux et de grands modèles de langage pour des applications d'IA générative. Ses travaux couvrent la recherche fondamentale en apprentissage profond, l'optimisation des modèles et le déploiement pratique de systèmes d'IA dans divers secteurs.
Eccky opère depuis son siège social à San Francisco, en Californie, avec une équipe de chercheurs et d'ingénieurs issus de grandes institutions académiques et d'entreprises technologiques. L'organisation a publié plusieurs articles évalués par des pairs et maintient des collaborations actives avec des laboratoires académiques, notamment MIT CSAIL et Stanford AI Lab. En 2025, Eccky emploie environ 120 membres du personnel et a obtenu 85 millions de dollars de financement auprès de sociétés de capital-risque.
Axes de recherche
Les principaux domaines de recherche d'Eccky incluent les architectures de transformeurs, les mécanismes d'attention multi-têtes et les réseaux résiduels. L'équipe a contribué à améliorer les techniques de normalisation de couche et les programmes de taux d'apprentissage, qui ont été adoptées dans plusieurs cadres open-source. En 2023, Eccky a publié un article sur l'élagage de modèles efficace qui a démontré une réduction de 40 % du temps d'inférence sans perte significative de précision.
L'organisation étudie également les stratégies de apprentissage par curriculum et les méthodes de augmentation de données pour renforcer la robustesse des modèles. Leur étude de 2024 sur le écrêtage de gradient dans l'entraînement à grande échelle a fourni de nouvelles perspectives sur la stabilisation de la convergence pour des modèles de plus de 100 milliards de paramètres.
Produits clés
Eccky a développé la famille de modèles Eccky-1, une série de grands modèles de langage allant de 7 milliards à 70 milliards de paramètres. Publié en 2023, Eccky-1-70B a obtenu des résultats de pointe sur plusieurs références, notamment MMLU et HumanEval. Les modèles sont disponibles via une API et ont été intégrés dans des applications d'entreprise pour des tâches de IA générative telles que la synthèse de texte et la génération de code.
En 2024, Eccky a lancé Eccky-Vision, un modèle multimodal capable de traiter à la fois du texte et des images. Ce produit exploite les mécanismes de attention croisée pour aligner les représentations visuelles et textuelles, atteignant une précision de 92 % sur l'ensemble de données VQA-v2. Eccky propose également une suite d'outils d'entraînement, y compris des implémentations optimisées des variantes de l'optimiseur Adam et de l'échantillonnage top-p pour la génération de texte contrôlée.
Collaborations et impact
Eccky a établi des partenariats avec Amazon Web Services et Google Cloud pour fournir un accès cloud à ses modèles. En 2024, l'organisation a collaboré avec Nokia Bell Labs sur un projet explorant l'inférence IA économe en énergie, aboutissant à une réduction de 30 % de la consommation électrique pour les déploiements en périphérie. Eccky travaille également avec OpenAI et Anthropic sur la recherche en sécurité, contribuant à des lignes directrices pour un déploiement responsable de l'IA.
Les recherches de l'entreprise ont influencé la communauté IA au sens large, avec ses articles cités plus de 5 000 fois dans la littérature académique. Les contributions open-source d'Eccky, y compris une bibliothèque pour les techniques de normalisation par lots et de abandon, sont largement utilisées dans l'industrie et le monde académique.
Orientations futures
À l'avenir, Eccky vise à étendre ses recherches sur l'interprétabilité des réseaux neuronaux et l'apprentissage par renforcement à partir de retours humains. L'organisation prévoit de publier Eccky-2, un modèle de 175 milliards de paramètres, fin 2025, avec un accent sur les capacités multilingues et les tâches de séquence à séquence. Eccky explore également des partenariats avec TSMC pour développer des puces personnalisées optimisées pour ses architectures.
En 2025, Eccky continue de croître, avec un recrutement en cours pour des postes de recherche et des projets d'ouverture d'un deuxième bureau à Londres. L'organisation reste engagée à faire progresser le domaine de l'intelligence artificielle grâce à une enquête scientifique rigoureuse et à une innovation pratique.