존 레논 인공지능 프로젝트는 비틀즈의 창립 멤버인 존 레논과 관련된 아카이브 오디오 자료에 인공지능 및 머신러닝 기법을 적용하는 연구 이니셔티브이다. 가장 공개적으로 가시적인 성과는 2023년 발매된 비틀즈의 마지막 싱글 "Now and Then"으로, AI 기반 오디오 분리를 통해 1970년대 후반에 녹음된 저음질 홈 데모에서 레논의 보컬 트랙을 분리해 냈다. 이 프로젝트는 딥러닝 모델이 원래 연주의 특성을 변경하지 않고도 역사적 녹음을 복원하고 리마스터링할 수 있음을 보여준 점에서 주목할 만하다.
이 프로젝트는 2010년대와 2020년대에 신경망 기반 소스 분리가 실용화된 음악 기술의 더 큰 흐름에서 등장했다. 수동 필터링에 의존한 초기 디지털 복원 방법과 달리, 존 레논 프로젝트는 대규모 보컬 및 악기 녹음 데이터셋으로 훈련된 생성형 AI 모델을 사용했다. 이러한 모델은 전통적인 신호 처리 알고리즘이 수행하기 어려웠던 작업인 레논의 목소리를 피아노 반주와 배경 소음에서 구별할 수 있었다. 프로젝트의 성공은 트랜스포머 아키텍처와 대규모 언어 모델에 인접한 오디오 모델의 발전 덕분으로 평가되지만, 구체적인 기술적 세부 사항은 일부 비공개로 남아 있다.
기술적 접근 방식
핵심 기술적 과제는 테이프 히스와 실내 잔향이 상당한 모노 녹음에서 단일 보컬 라인을 분리하는 것이었다. 프로젝트는 음성 분리 연구에 사용되는 아키텍처와 유사하지만 음악에 맞게 적응된 맞춤형 인코더-디코더 네트워크를 사용했다. 훈련 데이터에는 수백 시간 분량의 비틀즈 스튜디오 아웃테이크와 솔로 레논 녹음이 포함되어, 모델이 레논의 보컬 음색, 프레이징, 발음을 학습할 수 있었다. 모델은 멀티 헤드 어텐션 메커니즘을 사용하여 보컬이 지배하는 주파수 대역에 집중하면서 피아노 트랜지언트를 억제했다.
주요 혁신은 커리큘럼 러닝의 사용으로, 모델이 먼저 깨끗한 스튜디오 녹음으로 훈련한 다음 점차 더 시끄럽고 열화된 예시로 훈련했다. 이 접근 방식은 모든 아티팩트를 수동으로 주석 처리할 필요 없이 견고성을 향상시켰다. 최종 분리는 모델 프루닝을 사용하여 계산 오버헤드를 줄임으로써 소비자급 하드웨어에서도 처리할 수 있게 되었다. 프로젝트는 또한 데이터 증강 기법을 통합하여 훈련 샘플에 합성 실내 잔향과 테이프 노이즈를 추가함으로써 과적합을 방지했다.
역사적 맥락
존 레논은 1977년 뉴욕 자택에서 간단한 카세트 녹음기를 사용하여 "Now and Then"의 데모를 녹음했다. 1980년 그가 사망한 후, 테이프는 오노 요코가 소유하게 되었고, 그녀는 1994년 생존한 비틀즈 멤버들에게 이를 건넸다. 앤솔로지 세션 동안 이 노래를 완성하려는 초기 시도는 오디오 품질이 좋지 않아 레논의 목소리가 피아노와 거의 구별되지 않아 중단되었다. 이 프로젝트는 2020년 이후 AI 기반 오디오 복원의 발전으로 보컬 분리가 가능해지면서 이 트랙에 대한 관심을 되살렸다.
이 프로젝트는 음악 제작에 컴퓨터를 사용한 더 큰 역사의 일부이다. 1970년대와 1980년대 제록스 팔로알토 연구소와 노키아 벨 연구소의 초기 실험은 디지털 합성과 분석을 탐구했지만 실시간 분리를 위한 계산 능력이 부족했다. 2010년대 그래프코어 및 기타 전용 AI 하드웨어의 부상으로 오디오 데이터에 대한 대규모 모델 훈련이 가능해졌다. 존 레논 프로젝트는 특히 AWS 트레이니엄과 구글 클라우드 인프라의 혜택을 받았으며, 이는 반복적인 모델 개선에 필요한 병렬 처리를 제공했다.
윤리적 및 법적 차원
이 프로젝트는 AI를 사용하여 사망한 예술가의 목소리를 재현하거나 향상시키는 것에 대한 질문을 제기했다. 비평가들은 이러한 기술이 공연을 위조하는 데 오용될 수 있다고 주장했지만, 지지자들은 프로젝트가 새 콘텐츠를 생성한 것이 아니라 기존 녹음만 복원했다고 지적했다. 비틀즈의 유산 관리 기관인 애플 (밴드의 레코드 레이블)과 소니 AI (배급 담당)는 오디오 엔지니어 및 레논의 가족과의 광범위한 협의 후 발매를 승인했다. 프로젝트는 합성 보컬을 만들기 위해 딥페이크 기법을 사용하지 않았으며, 대신 원본 녹음을 분리하고 정리하여 레논의 실제 연주를 보존했다.
AI 생성 음악에 대한 법적 프레임워크는 2023년 현재 여전히 진화 중이었다. 프로젝트는 AI를 저작자가 아닌 도구로 취급하는 기존 저작권법 아래 운영되었다. 그러나 프로젝트의 성공은 음악 산업에서 AI 피드백 기반 강화 학습 및 예술가의 스타일로 새 작품을 만드는 데 사용될 수 있는 기타 방법에 대한 논의를 촉발했다. 프로젝트 팀은 공식 학술 논문을 발표하지 않았지만, 독점적 방법을 보호해야 한다는 이유로 인터뷰와 업계 컨퍼런스에서 기술적 세부 사항을 공유했다.
영향과 유산
프로젝트의 성공은 다른 아카이브 녹음의 재발매를 포함한 이후의 오디오 복원 노력에 영향을 미쳤다. 이는 딥러닝 모델이 역사적 아카이브에서 흔한 전화 녹음 및 라이브 공연과 같은 비스튜디오 조건을 처리할 수 있음을 입증했다. 프로젝트는 또한 오픈AI에 인접한 오디오 도구 개발에 기여했지만, 직접적인 협력은 확인되지 않았다. 2024년 현재, 이 프로젝트는 기술적 능력과 예술적 의도에 대한 존중 사이에서 균형을 맞추는 음악에서의 윤리적 AI 사용에 대한 기준점으로 남아 있다.
프로젝트의 방법론은 유사한 분리 과제가 존재하는 클래식 및 재즈 녹음을 포함한 다른 장르에도 적응되었다. 또한 MIT CSAIL과 스탠포드 AI 랩에서 분리 결정을 더 투명하게 만드는 것을 목표로 하는 해석 가능한 오디오 모델에 대한 학술 연구에 영감을 주었다. 존 레논 프로젝트는 일회성 이니셔티브였지만, 그 기술은 이제 삼바노바와 그록과 같은 회사가 오디오 처리를 위한 전용 추론 서비스를 제공하는 음악 마스터링의 표준 관행의 일부가 되었다.
향후 방향
프로젝트의 향후 반복은 모노 믹스에서 개별 악기를 분리하는 완전한 멀티 트랙 분리로 확장될 수 있다. 연구자들은 또한 크로스 어텐션 메커니즘을 탐구하여 오디오를 가사 텍스트와 정렬함으로써 열화된 녹음의 자동 전사 가능성을 모색하고 있다. 프로젝트의 성공은 반주 트랙 생성에 탑-k 샘플링과 온도 스케일링을 사용하는 것에 대한 관심을 촉발했지만, 이러한 응용은 여전히 논란의 여지가 있다. AI 모델이 더 효율적이 됨에 따라 유사한 복원 프로젝트가 독립 아티스트와 아키비스트에게 접근 가능해져 역사적 오디오에 대한 접근을 민주화할 수 있다.
존 레논 인공지능 프로젝트는 문화 유산에 적용된 AI의 획기적인 사례로 서 있다. 이는 머신러닝이 이전에 상실된 것으로 간주되었던 예술적 연주를 보존하고 드러낼 수 있음을 보여주었으며, 동시에 진정성과 동의에 관한 중요한 질문을 제기했다. AI 도구가 음악 제작 및 아카이브 작업에 더 통합됨에 따라 그 유산은 더욱 성장할 가능성이 높다.