PyTorchは、深層学習フレームワークのオープンソースであり、ニューラルネットワークの構築、トレーニング、デプロイのためのツールを提供する。Pythonファーストの設計と、動的でdefine-by-run方式の計算グラフで知られている。もともとはFacebook AI Research（後にMeta AI）によって開発され、2016年9月に初めてリリースされ、2020年代前半から中期にかけて、AI研究で支配的なフレームワークとなった。
歴史
PyTorchは、Luaプログラミング言語で構築された初期の科学計算フレームワークであるTorchから発展し、研究者がすでに使用していたPython中心のデータサイエンスエコシステムに自然に適合するよう、Pythonインターフェースで書き直された。その初期の設計上の決定、特にコードの実行に応じてネットワーク構造をその場で構築する動的計算グラフは、事前に定義してコンパイルする必要がある初期のTensorFlowが採用した静的グラフ方式よりも、デバッグや新しいアーキテクチャの実験をはるかに容易にした。この開発者にとっての使いやすさが、学術研究での急速な採用を促進した。2020年代前半までに、主要な機械学習会議での論文の大多数がPyTorchを使用していた。2022年9月、MetaはPyTorchのガバナンスを、Linux Foundationの下に新設されたPyTorch Foundationに移管した。これは、単一企業の内部ツールではなく、業界全体で使用される重要なオープンソースインフラストラクチャとしての地位を反映している。
設計とエコシステム
PyTorchはデータをテンソル（NumPyと同様の多次元配列）として表現し、勾配降下法ベースの最適化のための勾配を自動的に計算する自動微分を提供する。CPUと、CUDAを介したNvidia GPUの両方で効率的に動作し、多数のGPUにわたる分散トレーニング、パフォーマンス向上のためのモデルコンパイル、モバイルおよびエッジ展開のためのツールで拡張されている。Hugging FaceのTransformersライブラリを含む、PyTorch上に構築された大規模なライブラリのエコシステムにより、トランスフォーマーベースのモデル、特に2020年代にリリースされた主要なオープンウェイトの大規模言語モデルのほとんどをトレーニングおよびファインチューニングするためのデフォルトの基盤となっている。
TensorFlowとの比較と重要性
PyTorchの主な歴史的ライバルは、2015年に1年早くリリースされたGoogleのTensorFlowである。この2つのフレームワークの競争は、2010年代後半の深層学習ツールの多くを形成し、TensorFlowは当初、本番展開に、PyTorchは研究の柔軟性に好まれていた。TensorFlowは後にこのギャップを埋めるためにeager executionを採用したが、PyTorchはすでに研究のマインドシェアで決定的なシェアを獲得しており、大規模言語モデルの時代が研究から本番までの期間を短縮するにつれて、本番展開の多くも獲得した。2020年代半ばまでに、PyTorchは最も広く使用されている基盤モデルの基盤となるフレームワークであり、CUDAやNvidia GPUと並んで、現代のAI業界が最も依存しているインフラストラクチャの1つとして頻繁に挙げられた。