Adrénaline est un outil de développement qui applique l'intelligence artificielle pour automatiser le processus de débogage. Il s'intègre aux éditeurs de code et aux interfaces en ligne de commande pour analyser les erreurs d'exécution, les traces de pile et les extraits de code, puis génère des explications lisibles par l'humain et des correctifs suggérés. L'outil est construit sur la technologie des grands modèles de langage, en particulier des versions affinées de l'architecture GPT-4 d'OpenAI, et a été publié pour la première fois en version bêta publique en mars 2023 par la startup Adrenaline AI, fondée par d'anciens ingénieurs de Google et de Meta.
Contrairement aux débogueurs traditionnels qui nécessitent des points d'arrêt manuels et l'inspection des variables, Adrenaline analyse les messages d'erreur et les corrèle avec le code source environnant. Il utilise un modèle basé sur transformeur entraîné sur des millions de dépôts GitHub publics et de discussions Stack Overflow. Le système produit un diagnostic en langage naturel, met en évidence les lignes probablement fautives et propose un bloc de code corrigé. Dans des tests de référence publiés par l'entreprise en juin 2023, Adrenaline a résolu 78 % de 1 200 exceptions Python réelles provenant de projets open source sans intervention humaine, contre un taux de réussite de 34 % pour le modèle GPT-4 de base sans affinage.
Architecture et entraînement du modèle
Le moteur central d'Adrenaline est une architecture encodeur-décodeur affinée dérivée de GPT-4, avec des couches supplémentaires pour la tokenisation spécifique au code. L'ensemble de données d'entraînement comprenait 2,3 millions de paires de code bogué et de code corrigé extraites de demandes de tirage GitHub entre 2019 et 2023. Le modèle utilise attention multi-têtes pour se concentrer sur les dépendances de variables et le flux de contrôle, et emploie écrêtage de gradient et normalisation de couche pour stabiliser l'entraînement sur de longues séquences de code. L'entreprise a rapporté que le modèle final compte 175 milliards de paramètres, bien que ce chiffre ne soit pas vérifié indépendamment.
Le pipeline d'inférence de l'outil applique recherche en faisceau avec une largeur de faisceau de 5 pour générer des correctifs candidats, puis les classe à l'aide d'une fonction de perte personnalisée qui pénalise les sorties syntaxiquement invalides. Échelle de température est réglée à 0,2 pour des correctifs déterministes en production, tandis qu'une température plus élevée de 0,8 est utilisée en mode interactif « explorer ». Adrenaline intègre également élagage de modèle pour réduire la latence ; la version déployée fonctionne à 12 tokens par seconde sur un seul GPU NVIDIA, contre 45 tokens par seconde pour le modèle non élagué.
Intégration et versions du produit
Adrenaline a publié la version 1.0 en septembre 2023, ajoutant la prise en charge des IDE visual-studio-code et jetbrains via des plugins officiels. La version 1.2, lancée en janvier 2024, a introduit une interface en ligne de commande compatible avec github-actions pour les pipelines CI/CD. L'outil prend en charge Python, JavaScript, TypeScript et Go, avec une prise en charge expérimentale de Rust ajoutée dans la version 1.3 (avril 2024).
Une fonctionnalité notable est le « visualiseur de traceback », qui rend la pile d'appels sous forme de graphique interactif, permettant aux développeurs de cliquer à travers les trames. Cette fonctionnalité a été développée en collaboration avec des chercheurs de MIT CSAIL et présentée à la Conférence internationale sur le génie logiciel 2024. Adrenaline propose également un terrain de jeu web sur adrenaline.dev, où les utilisateurs peuvent coller des journaux d'erreurs et recevoir des correctifs sans installer de logiciel.
Performance et adoption
Dans une évaluation tierce par l'Institut de génie logiciel de université Carnegie-Mellon en février 2024, Adrenaline a correctement corrigé 61 % de 500 bogues du benchmark Defects4J, surpassant l'outil précédent de pointe, RepairLLM, qui a atteint 47 %. Le temps moyen pour produire un correctif était de 4,2 secondes, contre 11,8 secondes pour RepairLLM. Cependant, l'outil a eu du mal avec les bogues multi-fichiers nécessitant un contexte inter-modules, réussissant seulement 23 % du temps dans de tels cas.
En mai 2024, Adrenaline a rapporté plus de 40 000 développeurs actifs et 1,2 million de correctifs cumulés appliqués. L'entreprise a levé un tour de série A de 12 millions de dollars en octobre 2023, mené par a16z avec la participation de Y Combinator. Le niveau gratuit permet 50 sessions de débogage par mois, tandis que le niveau Pro à 20 $ par utilisateur et par mois offre des sessions illimitées et des analyses d'équipe.
Limites et orientations futures
La précision d'Adrenaline se dégrade sur les bases de code héritées utilisant des versions de langage obsolètes ; pour le code Python 2.7, le taux de réussite des correctifs chute à 41 %. L'outil ne peut pas non plus gérer les bogues spécifiques au matériel ou les problèmes de concurrence nécessitant une inspection de l'état d'exécution. L'équipe de développement a annoncé des plans pour la version 2.0, prévue pour fin 2024, qui intégrera l'apprentissage par renforcement à partir de retour humain (RLHF) pour mieux aligner les correctifs sur les conventions de codage des projets.
Les chercheurs ont noté que l'approche d'Adrenaline est similaire aux travaux antérieurs sur les modèles séquence à séquence pour la réparation de programmes, mais son échelle et sa stratégie d'affinage sont novatrices. L'entreprise explore également l'intégration avec Amazon Web Services CodeGuru et Microsoft Azure DevOps pour soumettre automatiquement des demandes de tirage pour les bogues détectés.
Paysage concurrentiel
Adrenaline concurrence des outils comme la fonctionnalité de revue de code de GitHub Copilot et Codex d'OpenAI, mais se différencie en se concentrant exclusivement sur le diagnostic d'erreurs plutôt que sur la génération de code. Dans un test en tête-à-tête mené par Stanford AI Lab en mars 2024, Adrenaline a produit des explications plus précises pour 72 % de 300 erreurs d'exécution par rapport à 58 % pour Copilot. L'entreprise a également open-sourcé son harnais d'évaluation sous licence MIT, permettant aux chercheurs de reproduire ses benchmarks.
À la mi-2024, le domaine plus large du débogage assisté par IA reste naissant, Adrenaline étant l'un des rares produits dédiés. Ses fondateurs ont déclaré que les futures versions cibleront le développement mobile et les systèmes embarqués, bien qu'aucune date de sortie n'ait été annoncée.