Patrick Ess는 비디오 제작을 위한 생성형 인공지능을 전문으로 하는 기업 Runway의 공동 창업자이자 기술 기업가이다. Runway는 사용자가 텍스트 프롬프트와 이미지를 사용하여 비디오 콘텐츠를 생성하거나 편집할 수 있게 해주는 머신러닝 모델을 개발하며, 미디어 제작 분야에서 생성형 AI 운동의 최전선에 자리 잡고 있다.
Ess는 2018년 뉴욕대학교 AI 연구소 출신의 다른 기술자들과 함께 Runway를 설립한 창립 팀의 일원이었다. 이 회사는 처음에는 예술가와 디자이너를 위한 연구 도구에 초점을 맞추었으며, 이후 2020년대 초반에 널리 주목받은 상용 제품을 출시했다. Runway의 작업은 창의적 산업을 위한 딥러닝의 실용적 응용을 입증하는 데 영향력을 발휘해 왔다.
초기 경력 및 Runway 설립
Runway를 설립하기 전, Patrick Ess는 컴퓨터 과학과 인공지능 연구에 관여했으며 뉴욕대학교의 학계 커뮤니티와 연계를 맺고 있었다. 이 회사는 생성 모델을 영화 및 비디오 제작에 어떻게 활용할 수 있는지 탐구하는 연구 프로젝트에서 출발했다. 2018년, Ess와 공동 창업자들은 Runway를 법인으로 설립했으며, 처음에는 깊은 기술적 전문성 없이도 예술가들이 머신러닝 모델을 실험할 수 있는 플랫폼을 제공했다.
초기 플랫폼은 스타일 전이와 이미지 생성과 같은 작업을 위한 사전 훈련된 모델에 대한 접근을 제공했으며, 이는 창의적 전문가들 사이에서 사용자 기반을 구축하는 데 도움이 되었다. 2020년까지 Runway는 Lux Capital과 Kleiner Perkins를 포함한 투자자들로부터 시드 펀딩을 유치하여 연구 개발 노력을 확장할 수 있었다.
생성형 비디오 모델 개발
Runway의 주요 돌파구는 Gen-1 및 Gen-2 모델의 출시와 함께 이루어졌다. 2023년 초에 출시된 Gen-1은 사용자가 한 비디오의 시각적 스타일을 다른 비디오에 적용할 수 있게 했으며, 이는 비디오-투-비디오 변환으로 알려진 기술이다. 이어서 2023년 3월에 출시된 Gen-2는 텍스트-투-비디오 생성을 가능하게 했으며, 이는 작성된 설명에서 직접 짧은 클립을 만드는 방식이다. 이러한 모델은 무작위 노이즈를 일관된 이미지나 비디오 프레임으로 반복적으로 정제하는 Neural network 유형인 확산 기반 아키텍처에 의존했다.
기반 기술은 Deep learning과 Generative AI의 발전, 특히 자연어 처리를 혁신한 트랜스포머 아키텍처를 활용했다. Runway의 모델은 대규모 비디오 클립 데이터 세트로 훈련되었으며, Machine learning 기술을 사용하여 시간적 일관성과 시각적 사실성을 학습했다. 이 회사는 또한 인페인팅 및 모션 추적과 같은 비디오 편집을 위한 맞춤형 도구를 개발하여 상용 플랫폼에 통합했다.
상업적 성장 및 산업 영향
Gen-2의 성공 이후, Runway는 빠른 성장을 경험했다. 2023년 6월, 이 회사는 Google이 주도하고 NVIDIA 및 Salesforce와 같은 기존 투자자들이 참여한 1억 달러 규모의 시리즈 C 펀딩 라운드를 발표했다. 이 평가액은 15억 달러로 보고되었으며, Runway는 생성형 AI 분야에서 가장 가치 있는 스타트업 중 하나가 되었다. 이 자금은 추가 모델 개발과 클라우드 기반 비디오 편집 제품군의 확장을 지원하기 위한 것이었다.
Runway의 기술은 영화 제작자, 광고주 및 콘텐츠 제작자에 의해 채택되었으며, 그 도구는 주목할 만한 프로젝트에서 사용되었다. 여기에는 2023년 영화 "에브리씽 에브리웨어 올 앳 원스"의 시각 효과가 포함되며, 특정 장면 향상을 위해 Runway의 AI를 사용했다. 이 회사는 또한 훈련 및 추론을 위한 확장 가능한 컴퓨팅 리소스를 제공하기 위해 Google Cloud와 파트너십을 맺었으며, 비용 효율적인 모델 배포를 위해 AWS Trainium 칩의 초기 고객이 되었다.
AI 연구 커뮤니티에서의 역할
Patrick Ess는 NeurIPS 및 CVPR과 같은 주요 학회에서 발표된 Runway의 연구 논문에 기여했다. 비디오 생성에 대한 이 회사의 작업은 학술 문헌에서 인용되었으며, OpenAI의 이후 비디오 모델 Sora를 포함한 이 분야의 다른 스타트업에 영향을 미쳤다. Runway는 또한 연구자들이 이미지 생성 모델을 비디오에 적용할 수 있게 해주는 AnimateDiff 프레임워크와 같은 오픈소스 도구를 출시하여 더 넓은 혁신을 촉진했다.
Ess는 생성형 비디오의 윤리적 영향에 대해 공개적으로 발언하며, 책임 있는 사용과 AI 생성 콘텐츠의 워터마킹 중요성을 옹호해 왔다. Runway는 딥페이크 및 허위 정보에 대한 우려를 해결하기 위한 산업적 노력에 부합하는 콘텐츠 조정 시스템과 합성 미디어 탐지 도구를 구현했다.
이후 발전 및 현재 상태
2024년 현재, Runway는 모델을 계속 개선하며 2024년 6월에 비디오 품질과 시간적 일관성을 향상시킨 Gen-3 Alpha를 출시했다. 이 회사는 모바일 앱과 미디어 기업을 위한 엔터프라이즈 솔루션을 포함하도록 제품 라인업을 확장했다. Patrick Ess는 기술 확장과 대형 기술 기업 및 다른 스타트업에 대한 Runway의 경쟁 우위 유지에 초점을 맞추며 회사의 전략적 방향에 계속 적극적으로 참여하고 있다.
생성형 비디오의 더 넓은 분야는 Google DeepMind 및 Anthropic과 같은 경쟁자들이 유사한 기능을 탐구하면서 빠르게 성장했다. Runway의 선제적 이점과 강력한 연구 팀은 관련성을 유지하는 데 도움이 되었지만, 컴퓨팅 비용과 시장 경쟁에서 과제에 직면해 있다. 예술과 기술 모두에 대한 Ess의 배경은 AI를 창의적 전문가에게 접근 가능하게 만드는 Runway의 사명에 중심적인 역할을 해 왔다.