AlphaTensor은 DeepMind가 개발한 인공지능 시스템으로, 강화 학습을 사용하여 효율적인 행렬 곱셈 알고리즘을 발견한다. 2022년에 소개된 이 시스템은 AlphaZero를 기반으로 하였으며, 행렬 곱셈 알고리즘 탐색을 TensorGame이라는 단일 플레이어 게임으로 공식화하였다.
AlphaTensor는 더 적은 스칼라 곱셈 연산으로 행렬을 곱하는 새로운 방법을 탐색하도록 설계되었다. 행렬 곱셈은 선형 대수학, 수치 해석, 과학 컴퓨팅, 컴퓨터 그래픽스 및 머신 러닝의 기본 연산이다. 이 시스템은 수천 개의 행렬 곱셈 알고리즘을 발견했으며, 여기에는 알려진 인간 설계 방법을 재발견한 알고리즘과 특정 행렬 크기 및 수학적 설정에서 이전에 알려진 결과를 개선한 알고리즘도 포함된다.
배경
행렬 곱셈은 수치 컴퓨팅의 기본 연산 중 하나이다. 두 정사각 행렬을 곱하는 표준 알고리즘은 삼차 시간 복잡도를 가지며, Strassen 알고리즘과 같은 더 빠른 알고리즘은 더 복잡한 대수적 분해를 사용하여 곱셈 연산 수를 줄인다. 최적의 행렬 곱셈 알고리즘을 찾는 것은 가능한 텐서 분해의 큰 공간을 탐색해야 하므로 어려울 수 있다.
AlphaTensor는 알고리즘 발견을 TensorGame으로 표현하여 이 문제에 접근했으며, 각 이동은 행렬 곱셈을 나타내는 텐서를 줄이는 연산에 해당한다. 게임의 목표는 효율적인 곱셈 알고리즘에 해당하는 행렬 곱셈 텐서의 저랭크 분해를 찾는 것이다.
개발
AlphaTensor는 DeepMind가 개발했으며 2022년 10월 Nature에 게재된 논문에서 설명되었다. 이 시스템은 이전에 Go, 체스, 쇼기와 같은 게임에 적용되었던 AlphaZero의 강화 학습 접근 방식을 기반으로 구축되었다. 이러한 게임과 달리 TensorGame은 매우 큰 탐색 공간을 포함하므로 AlphaZero 스타일의 탐색 방법과 신경망 아키텍처의 변경이 필요했다.
DeepMind는 공개 GitHub 저장소를 통해 소스 코드와 발견된 알고리즘을 출판과 함께 공개했다.
결과
AlphaTensor는 표준 산술 및 유한체 모두에 대해 행렬 곱셈 알고리즘을 발견했다. 널리 보도된 결과 중 하나는 두 개의 원소를 가진 체에서 4 × 4 행렬을 47개의 곱셈 연산으로 곱하는 방법으로, 해당 설정에서 Strassen 알고리즘을 재귀적으로 적용할 때 필요한 49개 연산을 개선한 것이다.
이 시스템은 또한 특정 컴퓨터 하드웨어에 최적화된 알고리즘을 발견했으며, 그래픽 처리 장치 및 텐서 처리 장치용으로 설계된 알고리즘도 포함된다. DeepMind는 일부 하드웨어 특정 알고리즘이 테스트된 하드웨어에서 일반적으로 사용되는 알고리즘보다 실제 실행 시간을 개선했다고 밝혔다.
의의
AlphaTensor는 기존 알고리즘을 적용할 뿐만 아니라 새로운 알고리즘을 발견하는 데 기계 학습을 사용하는 예로 설명되었다. 이 작업은 알고리즘 발견, 자동화된 머신 러닝, 프로그램 합성 및 계산 복잡성 이론, 특히 행렬 곱셈의 최적 복잡성을 결정하는 미해결 문제에 대한 광범위한 연구와 연결되었다.
AlphaTensor는 이후 AlphaDev 및 AlphaEvolve와 같은 시스템과 함께 알고리즘 및 수학적 발견을 위한 Google DeepMind 시스템의 더 넓은 그룹의 일부가 되었다.
같이 보기
참고 문헌
- DeepMind, 'AlphaTensor', 2022.
- Nature 논문, 2022년 10월.
외부 링크
- 공식 웹사이트
- GitHub의 alphatensor