제프 호흐라이터(Sepp Hochreiter)는 독일의 컴퓨터 과학자로, 20년의 간격을 두고 딥러닝에 두 가지 영향력 있는 기여를 한 것으로 알려져 있다. 1990년대 초반에는 기울기 소실 문제를 식별했고, 더 최근에는 그의 초기 연구를 지배적인 시퀀스 모델로 대체한 트랜스포머 아키텍처의 경쟁자로 xLSTM을 제안했다.
기울기 소실과 LSTM
1991년 뮌헨 공과대학교에서 위르겐 슈미트후버의 지도 아래 작성한 학위 논문에서 호흐라이터는 표준 순환 신경망 훈련이 시간에 따른 역전파(backpropagation)를 사용할 때 긴 시퀀스에서 실패하는 경향이 있는 이유를 수학적으로 증명했다. 오류 기울기가 많은 시간 단계를 거쳐 역방향으로 전파되면서 0으로 수축하거나 통제할 수 없이 증가하여, 초기 신경망 아키텍처가 몇 단계 이상의 의존성을 학습하기 매우 어렵게 만든다는 것이다. 당시 독일어권 AI 커뮤니티 밖에서는 대체로 간과된 이 진단은 호흐라이터와 슈미트후버가 1997년에 발표한 장단기 메모리(LSTM) 설계를 직접적으로 동기부여했다. LSTM은 긴 범위에 걸쳐 정보를 보존할 수 있는 게이트 메모리 셀을 도입했으며, 2000년대와 2010년대 내내 기계 번역, 음성 인식, 텍스트 생성과 같은 작업의 기본 아키텍처가 되었다. 이후 2017년 Attention Is All You Need 논문이 트랜스포머를 도입하기 전까지였다.
이후 경력
호흐라이터는 요하네스 케플러 대학교 린츠의 교수로, 기계 학습 연구소를 이끌고 있으며 유럽 학습 및 지능 시스템 연구소(ELLIS)의 한 유닛을 책임지고 있다. 그의 연구실은 또한 기계 학습의 약물 발견 및 화학 응용 분야에서도 작업해 왔으며, 심층 네트워크를 사용하여 분자 특성을 예측하고 후보 화합물을 선별했다. 이는 그러한 응용이 독자적인 하위 분야로 널리 자금 지원을 받기 훨씬 전의 일이었다. 2024년 그의 그룹은 지수적 게이팅과 수정된 메모리 구조를 갖춘 원래 아키텍처의 업데이트 버전인 xLSTM을 도입했으며, 특정 장기 시퀀스 작업에서 트랜스포머보다 더 계산 효율적인 대안으로 자리매김했다. 이는 상태 공간 모델 계열과 같은 접근 방식과 함께 트랜스포머 대안에 대한 광범위한 관심의 물결의 일부였다. 호흐라이터는 이 연구 라인을 상업화하기 위해 NXAI라는 회사를 공동 설립했으며, 유럽이 주요 미국 연구소의 트랜스포머 기반 대규모 언어 모델 설계에만 의존하지 않고 자체적인 기반 모델 아키텍처에 투자해야 한다고 주장했다. 그는 xLSTM을 오래되고 잘 이해된 아키텍처에도 여전히 의미 있는 개선의 여지가 있다는 증거로 제시했다.