Patrick Ess ist ein Technologieunternehmer und Mitbegründer von Runway, einem Unternehmen, das sich auf generative künstliche Intelligenz für die Videoproduktion spezialisiert hat. Runway entwickelt Modelle des maschinellen Lernens, die es Nutzern ermöglichen, Videoinhalte mithilfe von Textvorgaben und Bildern zu generieren oder zu bearbeiten, und positioniert sich damit an der Spitze der generativen KI-Bewegung in der Medienproduktion.
Ess gehörte zum Gründungsteam, das Runway 2018 ins Leben rief, zusammen mit anderen Technologen aus dem KI-Labor der New York University. Das Unternehmen konzentrierte sich zunächst auf Forschungswerkzeuge für Künstler und Designer und veröffentlichte später kommerzielle Produkte, die in den frühen 2020er-Jahren breite Aufmerksamkeit erlangten. Runways Arbeit war einflussreich, um praktische Anwendungen des Deep Learning für kreative Branchen zu demonstrieren.
Frühe Karriere und Gründung von Runway
Vor der Gründung von Runway war Patrick Ess in der Informatik- und KI-Forschung tätig, mit Verbindungen zur akademischen Gemeinschaft an der New York University. Das Unternehmen entstand aus einem Forschungsprojekt, das untersuchte, wie generative Modelle für die Film- und Videoproduktion eingesetzt werden können. 2018 gründeten Ess und seine Mitgründer Runway und boten zunächst eine Plattform für Künstler an, um mit Modellen des maschinellen Lernens zu experimentieren, ohne tiefgehende technische Kenntnisse zu benötigen.
Die frühe Plattform bot Zugang zu vortrainierten Modellen für Aufgaben wie Stilübertragung und Bildgenerierung, was half, eine Nutzerbasis unter kreativen Fachleuten aufzubauen. Bis 2020 hatte Runway Startkapital von Investoren wie Lux Capital und Kleiner Perkins eingeworben, was dem Team ermöglichte, seine Forschungs- und Entwicklungsbemühungen auszuweiten.
Entwicklung generativer Videomodelle
Runways großer Durchbruch kam mit der Veröffentlichung seiner Gen-1- und Gen-2-Modelle. Gen-1, das Anfang 2023 eingeführt wurde, erlaubte Nutzern, den visuellen Stil eines Videos auf ein anderes zu übertragen, eine Technik, die als Video-zu-Video-Übersetzung bekannt ist. Darauf folgte Gen-2 im März 2023, das Text-zu-Video-Generierung ermöglichte - das Erstellen kurzer Clips direkt aus schriftlichen Beschreibungen. Diese Modelle basierten auf diffusionsbasierten Architekturen, einer Art von neuronales Netzwerk, das zufälliges Rauschen iterativ zu kohärenten Bildern oder Videoframes verfeinert.
Die zugrunde liegende Technologie nutzte Fortschritte im Deep Learning und in der generativen KI, insbesondere die Transformer-Architektur, die die Verarbeitung natürlicher Sprache revolutioniert hatte. Runways Modelle wurden auf großen Datensätzen von Videoclips trainiert, wobei Techniken des maschinellen Lernens verwendet wurden, um zeitliche Konsistenz und visuelle Realismus zu lernen. Das Unternehmen entwickelte auch maßgeschneiderte Werkzeuge für die Videobearbeitung, wie Inpainting und Bewegungserfassung, die in seine kommerzielle Plattform integriert wurden.
Kommerzielles Wachstum und Brancheneinfluss
Nach dem Erfolg von Gen-2 erlebte Runway ein schnelles Wachstum. Im Juni 2023 kündigte das Unternehmen eine Series-C-Finanzierungsrunde über 100 Millionen US-Dollar an, die von Google angeführt wurde, mit Beteiligung bestehender Investoren wie NVIDIA und Salesforce. Die Bewertung wurde auf 1,5 Milliarden US-Dollar geschätzt, was Runway zu einem der wertvollsten Startups im Bereich der generativen KI machte. Die Finanzierung sollte die weitere Modellentwicklung und den Ausbau seiner cloudbasierten Videobearbeitungssuite unterstützen.
Runways Technologie wurde von Filmemachern, Werbetreibenden und Content-Erstellern übernommen, und seine Werkzeuge wurden in bemerkenswerten Projekten eingesetzt, einschließlich der visuellen Effekte für den Film „Everything Everywhere All at Once" aus dem Jahr 2023, der Runways KI für bestimmte Szenenverbesserungen nutzte. Das Unternehmen ging auch eine Partnerschaft mit Google Cloud ein, um skalierbare Rechenressourcen für Training und Inferenz bereitzustellen, und es war ein früher Kunde von AWS-Trainium-Chips für kosteneffiziente Modellbereitstellung.
Rolle in der KI-Forschungsgemeinschaft
Patrick Ess hat zu Runways Forschungspublikationen beigetragen, die auf großen Konferenzen wie NeurIPS und CVPR präsentiert wurden. Die Arbeit des Unternehmens zur Videogenerierung wurde in der akademischen Literatur zitiert und hat andere Startups in diesem Bereich beeinflusst, einschließlich OpenAIs späterem Videomodell Sora. Runway veröffentlichte auch Open-Source-Werkzeuge wie das AnimateDiff-Framework, das es Forschern ermöglichte, Bildgenerierungsmodelle für Videos anzupassen, und förderte so breitere Innovation.
Ess hat sich öffentlich zu den ethischen Implikationen generativer Videos geäußert und sich für verantwortungsvolle Nutzung und die Bedeutung der Wasserzeichen-Kennzeichnung KI-generierter Inhalte ausgesprochen. Runway hat Moderationssysteme für Inhalte und Werkzeuge zur Erkennung synthetischer Medien implementiert, was sich mit Branchenbemühungen deckt, Bedenken hinsichtlich Deepfakes und Fehlinformationen anzugehen.
Spätere Entwicklungen und aktueller Status
Stand 2024 entwickelt Runway seine Modelle weiter und veröffentlichte im Juni 2024 Gen-3 Alpha, das die Videoqualität und zeitliche Kohärenz verbesserte. Das Unternehmen hat seine Produktpalette um eine mobile App und Unternehmenslösungen für Medienunternehmen erweitert. Patrick Ess bleibt in der strategischen Ausrichtung des Unternehmens aktiv und konzentriert sich darauf, die Technologie zu skalieren und Runways Wettbewerbsvorteil gegenüber größeren Technologieunternehmen und anderen Startups zu erhalten.
Das breitere Feld der generativen Videos ist schnell gewachsen, wobei Wettbewerber wie Google DeepMind und Anthropic ähnliche Fähigkeiten erforschen. Runways Vorteil als früher Marktteilnehmer und sein starkes Forschungsteam haben geholfen, seine Relevanz zu bewahren, obwohl es Herausforderungen bei den Rechenkosten und dem Marktwettbewerb gegenübersteht. Ess' Hintergrund in Kunst und Technologie war zentral für Runways Mission, KI für kreative Fachleute zugänglich zu machen.