Patrick Ess est un entrepreneur technologique et cofondateur de Runway, une entreprise spécialisée dans l'intelligence artificielle générative pour la création vidéo. Runway développe des modèles d'apprentissage automatique qui permettent aux utilisateurs de générer ou de modifier du contenu vidéo à l'aide de prompts textuels et d'images, se positionnant ainsi à l'avant-garde du mouvement de l'IA générative dans la production médiatique.
Ess a fait partie de l'équipe fondatrice qui a lancé Runway en 2018, aux côtés d'autres technologues issus du laboratoire d'IA de l'Université de New York. L'entreprise s'est initialement concentrée sur des outils de recherche destinés aux artistes et aux designers, avant de publier des produits commerciaux qui ont suscité une large attention au début des années 2020. Le travail de Runway a été influent pour démontrer les applications pratiques de l'apprentissage profond dans les industries créatives.
Début de carrière et fondation de Runway
Avant de fonder Runway, Patrick Ess était impliqué dans la recherche en informatique et en intelligence artificielle, avec des liens avec la communauté académique de l'Université de New York. L'entreprise est issue d'un projet de recherche explorant comment les modèles génératifs pouvaient être utilisés pour la production cinématographique et vidéo. En 2018, Ess et ses cofondateurs ont constitué Runway, offrant initialement une plateforme permettant aux artistes d'expérimenter avec des modèles d'apprentissage automatique sans nécessiter une expertise technique approfondie.
La plateforme initiale fournissait un accès à des modèles pré-entraînés pour des tâches comme le transfert de style et la génération d'images, ce qui a contribué à bâtir une base d'utilisateurs parmi les professionnels créatifs. D'ici 2020, Runway avait levé un financement d'amorçage auprès d'investisseurs tels que Lux Capital et Kleiner Perkins, permettant à l'équipe d'élargir ses efforts de recherche et développement.
Développement des modèles vidéo génératifs
La percée majeure de Runway est survenue avec la publication de ses modèles Gen-1 et Gen-2. Gen-1, lancé au début de 2023, permettait aux utilisateurs d'appliquer le style visuel d'une vidéo à une autre, une technique connue sous le nom de traduction vidéo-à-vidéo. Cela a été suivi par Gen-2 en mars 2023, qui a permis la génération texte-à-vidéo - créant de courts clips directement à partir de descriptions écrites. Ces modèles reposaient sur des architectures basées sur la diffusion, un type de réseau neuronal qui affine itérativement le bruit aléatoire en images ou en trames vidéo cohérentes.
La technologie sous-jacente s'appuyait sur les avancées en apprentissage profond et en IA générative, en particulier l'architecture de transformeur qui avait révolutionné le traitement du langage naturel. Les modèles de Runway étaient entraînés sur de grands ensembles de données de clips vidéo, utilisant des techniques de apprentissage automatique pour apprendre la cohérence temporelle et le réalisme visuel. L'entreprise a également développé des outils personnalisés pour le montage vidéo, tels que l'inpainting et le suivi de mouvement, intégrés dans sa plateforme commerciale.
Croissance commerciale et impact sur l'industrie
Suite au succès de Gen-2, Runway a connu une croissance rapide. En juin 2023, l'entreprise a annoncé un cycle de financement de série C de 100 millions de dollars mené par Google, avec la participation d'investisseurs existants comme NVIDIA et Salesforce. Cette valorisation a été rapportée à 1,5 milliard de dollars, faisant de Runway l'une des startups les plus précieuses dans le domaine de l'IA générative. Le financement visait à soutenir le développement ultérieur de modèles et l'expansion de sa suite de montage vidéo basée sur le cloud.
La technologie de Runway a été adoptée par des cinéastes, des annonceurs et des créateurs de contenu, et ses outils ont été utilisés dans des projets notables, notamment les effets visuels du film "Everything Everywhere All at Once" de 2023, qui a utilisé l'IA de Runway pour certaines améliorations de scènes. L'entreprise a également conclu un partenariat avec Google Cloud pour fournir des ressources de calcul évolutives pour l'entraînement et l'inférence, et elle a été un client précoce des puces AWS Trainium pour un déploiement de modèles rentable.
Rôle dans la communauté de recherche en IA
Patrick Ess a contribué aux publications de recherche de Runway, présentées lors de conférences majeures telles que NeurIPS et CVPR. Le travail de l'entreprise sur la génération vidéo a été cité dans la littérature académique et a influencé d'autres startups dans le domaine, y compris le modèle vidéo ultérieur Sora de OpenAI. Runway a également publié des outils open source comme le framework AnimateDiff, qui permettait aux chercheurs d'adapter des modèles de génération d'images pour la vidéo, favorisant une innovation plus large.
Ess a parlé publiquement des implications éthiques de la vidéo générative, plaidant pour une utilisation responsable et l'importance du filigrane sur le contenu généré par l'IA. Runway a mis en œuvre des systèmes de modération de contenu et des outils pour détecter les médias synthétiques, s'alignant sur les efforts de l'industrie pour répondre aux préoccupations concernant les deepfakes et la désinformation.
Développements ultérieurs et statut actuel
En 2024, Runway continue d'itérer sur ses modèles, publiant Gen-3 Alpha en juin 2024, qui a amélioré la qualité vidéo et la cohérence temporelle. L'entreprise a élargi sa gamme de produits pour inclure une application mobile et des solutions d'entreprise pour les sociétés de médias. Patrick Ess reste actif dans l'orientation stratégique de l'entreprise, se concentrant sur la mise à l'échelle de la technologie et le maintien de l'avantage concurrentiel de Runway face aux grandes entreprises technologiques et à d'autres startups.
Le domaine plus large de la vidéo générative a connu une croissance rapide, avec des concurrents comme Google DeepMind et Anthropic explorant des capacités similaires. L'avantage du premier entrant de Runway et sa solide équipe de recherche ont contribué à maintenir sa pertinence, bien qu'elle soit confrontée à des défis en termes de coûts de calcul et de concurrence sur le marché. Le parcours d'Ess, à la fois dans l'art et la technologie, a été central dans la mission de Runway de rendre l'IA accessible aux professionnels créatifs.