Le Projet d'intelligence artificielle John Lennon est une initiative de recherche qui applique des techniques d'intelligence artificielle et de apprentissage automatique à des documents audio d'archives associés à John Lennon, membre fondateur des Beatles. Son résultat le plus visible publiquement fut la sortie en 2023 du dernier single des Beatles, « Now and Then », qui utilisait une séparation audio pilotée par l'IA pour isoler la piste vocale de Lennon à partir d'une démo maison de faible fidélité enregistrée à la fin des années 1970. Le projet est notable pour avoir démontré comment les modèles de apprentissage profond peuvent restaurer et remasteriser des enregistrements historiques sans altérer le caractère de la performance originale.
Le projet est issu d'une tendance plus large dans la technologie musicale, où la séparation de sources basée sur les réseaux de neurones est devenue pratique dans les années 2010 et 2020. Contrairement aux méthodes de restauration numérique antérieures qui reposaient sur un filtrage manuel, le projet John Lennon a employé des modèles de IA générative entraînés sur de grands ensembles de données d'enregistrements vocaux et instrumentaux. Ces modèles pouvaient distinguer la voix de Lennon de l'accompagnement au piano et du bruit de fond, une tâche que les algorithmes traditionnels de traitement du signal peinaient à accomplir. Le succès du projet a été attribué aux avancées dans les architectures de transformeurs et aux modèles audio proches des grands modèles de langage, bien que les détails techniques spécifiques restent en partie propriétaires.
Approche technique
Le défi technique central était de séparer une ligne vocale unique d'un enregistrement mono avec un sifflement de bande et une ambiance de pièce significatifs. Le projet a utilisé un réseau encodeur-décodeur personnalisé, similaire aux architectures utilisées dans la recherche sur la séparation de la parole, mais adapté à la musique. Les données d'entraînement comprenaient des centaines d'heures de prises studio des Beatles et d'enregistrements solo de Lennon, permettant au modèle d'apprendre le timbre vocal, le phrasé et l'articulation de Lennon. Le modèle employait des mécanismes de attention multi-têtes pour se concentrer sur les bandes de fréquences où les voix dominent, tout en supprimant les transitoires du piano.
Une innovation clé a été l'utilisation de l'apprentissage par curriculum, où le modèle s'entraînait d'abord sur des enregistrements studio propres, puis progressivement sur des exemples plus bruités et plus dégradés. Cette approche a amélioré la robustesse sans nécessiter d'annotation manuelle de chaque artefact. La séparation finale a été affinée en utilisant le élagage de modèle pour réduire la charge computationnelle, permettant un traitement sur du matériel grand public. Le projet a également intégré des techniques de augmentation de données, telles que l'ajout de réverbération de pièce synthétique et de bruit de bande aux échantillons d'entraînement, pour éviter le surapprentissage.
Contexte historique
John Lennon a enregistré la démo de « Now and Then » en 1977 chez lui à New York, en utilisant un simple magnétophone à cassettes. Après sa mort en 1980, la bande est restée en possession de Yoko Ono, qui l'a donnée aux Beatles survivants en 1994. Une première tentative de terminer la chanson lors des sessions Anthology a été abandonnée en raison de la mauvaise qualité audio, qui rendait la voix de Lennon presque indiscernable du piano. Le projet a ravivé l'intérêt pour le morceau après 2020, lorsque les avancées dans la restauration audio basée sur l'IA ont rendu possible l'isolation de la voix.
Le projet fait partie d'une histoire plus large de l'utilisation des ordinateurs dans la production musicale. Les premières expériences au Xerox PARC et aux Nokia Bell Labs dans les années 1970 et 1980 ont exploré la synthèse et l'analyse numériques, mais manquaient de puissance de calcul pour une séparation en temps réel. L'essor de Graphcore et d'autres matériels IA spécialisés dans les années 2010 a permis l'entraînement de grands modèles sur des données audio. Le projet John Lennon a spécifiquement bénéficié de l'infrastructure AWS Trainium et Google Cloud, qui fournissait le traitement parallèle nécessaire pour un raffinement itératif du modèle.
Dimensions éthiques et juridiques
Le projet a soulevé des questions sur l'utilisation de l'IA pour recréer ou améliorer les voix d'artistes décédés. Les critiques ont soutenu qu'une telle technologie pourrait être utilisée à mauvais escient pour fabriquer des performances, tandis que les partisans ont noté que le projet ne faisait que restaurer des enregistrements existants, sans générer de nouveau contenu. La succession des Beatles, y compris Apple (le label du groupe) et Sony AI (qui gérait la distribution), a approuvé la sortie après une consultation approfondie avec des ingénieurs du son et la famille de Lennon. Le projet n'a pas utilisé de techniques de Deepfake pour créer des voix synthétiques ; il a plutôt séparé et nettoyé l'enregistrement original, préservant la performance réelle de Lennon.
Les cadres juridiques pour la musique générée par l'IA étaient encore en évolution en 2023. Le projet a fonctionné sous la loi sur le droit d'auteur existante, traitant l'IA comme un outil plutôt que comme un auteur. Cependant, le succès du projet a suscité des discussions dans l'industrie musicale sur le Reinforcement Learning from AI Feedback (RLAIF) (apprentissage par renforcement à partir de retours d'IA) et d'autres méthodes qui pourraient être utilisées pour créer de nouvelles œuvres dans le style d'un artiste. L'équipe du projet n'a publié aucun article académique formel, mais a partagé des détails techniques dans des interviews et des conférences industrielles, citant la nécessité de protéger les méthodes propriétaires.
Impact et héritage
Le succès du projet a influencé les efforts ultérieurs de restauration audio, y compris les rééditions d'autres enregistrements d'archives. Il a démontré que les modèles de apprentissage profond pouvaient gérer des conditions non-studio, telles que les enregistrements téléphoniques et les performances live, courantes dans les archives historiques. Le projet a également contribué au développement d'outils audio proches de OpenAI, bien qu'aucune collaboration directe n'ait été confirmée. En 2024, le projet reste un point de référence pour l'utilisation éthique de l'IA en musique, équilibrant la capacité technologique avec le respect de l'intention artistique.
La méthodologie du projet a été adaptée à d'autres genres, y compris les enregistrements classiques et de jazz, où des défis de séparation similaires existent. Il a également inspiré des recherches académiques au MIT CSAIL et au Stanford AI Lab sur des modèles audio interprétables, visant à rendre les décisions de séparation plus transparentes. Bien que le projet John Lennon ait été une initiative ponctuelle, ses techniques font désormais partie de la pratique standard dans le mastering musical, avec des entreprises comme SambaNova et Groq offrant des services d'inférence spécialisés pour le traitement audio.
Orientations futures
Les itérations futures du projet pourraient s'étendre à la séparation multi-pistes complète, isolant des instruments individuels à partir de mixages mono. Les chercheurs explorent également des mécanismes de attention croisée pour aligner l'audio avec des transcriptions de paroles, permettant potentiellement la transcription automatique d'enregistrements dégradés. Le succès du projet a stimulé l'intérêt pour le échantillonnage top-k et le réglage de température pour générer des pistes d'accompagnement, bien que de telles applications restent controversées. À mesure que les modèles d'IA deviennent plus efficaces, des projets de restauration similaires pourraient devenir accessibles aux artistes indépendants et aux archivistes, démocratisant l'accès à l'audio historique.
Le Projet d'intelligence artificielle John Lennon constitue un cas emblématique de l'IA appliquée au patrimoine culturel. Il a montré que le apprentissage automatique peut préserver et révéler des performances artistiques auparavant considérées comme perdues, tout en soulevant des questions importantes sur l'authenticité et le consentement. Son héritage est susceptible de croître à mesure que les outils d'IA deviennent plus intégrés dans la production musicale et le travail d'archivage.