Torchは、Luaスクリプト言語上に構築されたオープンソースの機械学習ライブラリおよび科学計算フレームワークである。2002年にIdiap研究所によってリリースされ、C言語で実装された深層学習アルゴリズムへのLuaJITインターフェースを提供し、人工知能およびニューラルネットワークモデルに取り組む研究者にとって初期の注目すべきツールとなった。このライブラリの設計は柔軟性とモジュール性を重視しており、学術および産業環境での採用に貢献した。2017年、Torchの開発はPythonへの移植版であるPyTorchへと移行し、その後深層学習研究における支配的なフレームワークとなった。
コアパッケージ: torch
Torchの中心的なパッケージはtorchパッケージであり、Tensorとして知られる柔軟なN次元配列を提供する。このTensorは、インデックス付け、スライシング、転置、型変換、リサイズ、ストレージ共有、クローン作成のための基本ルーチンをサポートし、他のほとんどのパッケージで使用される中核オブジェクトを形成する。これらの構造的操作に加えて、Tensorはmax、min、sumなどの数学関数、一様分布、正規分布、多項分布などの統計分布、およびドット積、行列ベクトル乗算、行列行列乗算などの基本線形代数サブプログラム（BLAS）操作をサポートする。
torchパッケージはまた、そのエコシステム全体で使用される便利な関数を通じて、オブジェクト指向プログラミングとシリアライゼーションを簡素化する。torch.class(classname, parentclass)関数はオブジェクトファクトリまたはクラスを作成し、開発者がカスタムデータ構造を定義できるようにする。コンストラクタが呼び出されると、Torchはユーザー定義のメタテーブルを持つLuaテーブルを初期化し、そのテーブルをオブジェクトに変換する。このファクトリを介して作成されたオブジェクトは、Luaコルーチンや生のuserdataなどの非シリアライズ可能なエンティティへの参照を含まない限りシリアライズできる。ただし、userdataはread()およびwrite()メソッドを持つテーブルにラップされている場合にシリアライズ可能である。
ニューラルネットワークパッケージ: nn
nnパッケージはニューラルネットワークアーキテクチャを構築するために設計されている。これは共通のModuleインターフェースを共有するモジュールオブジェクトで構成され、forward()およびbackward()メソッドがそれぞれフィードフォワードとバックプロパゲーションを可能にする。これらのモジュールは、Sequential、Parallel、Concatなどの複合体を使用して組み合わせ、タスク固有のグラフを作成できる。Linear、Tanh、Maxなどの基本コンポーネントがビルディングブロックとして含まれている。このモジュールインターフェースは一次の自動微分を提供し、研究者が勾配を手動で導出せずにモデルを構築できるようにする。
損失関数はCriterionのサブクラスとして実装され、損失の計算と勾配の伝播のためのforward()およびbackward()メソッドを持つModuleインターフェースを反映する。一般的な基準には、平均二乗誤差のためのMSECriterionと、クロスエントロピー損失のためのClassNLLCriterionが含まれ、典型的なタスクでのトレーニングを容易にする。このパッケージには確率的勾配降下を適用するためのStochasticGradientクラスも含まれているが、optimパッケージはモメンタムや重み減衰正則化などの追加オプションを提供する。
追加パッケージとエコシステム
公式パッケージに加えて、多くのサードパーティライブラリが並列処理、非同期入出力、画像処理などの領域をカバーしてTorchの機能を拡張している。これらのパッケージは通常、Torchディストリビューションに含まれるLuaパッケージマネージャであるLuaRocksを介してインストールされる。エコシステムのモジュール性は実験を促進し、専門ツールの利用可能性により、Torchは多様な研究ニーズに適応可能となった。
応用と採用
Torchは学術および産業の両方の環境で使用された。Facebook AI Research Group、IBM、Yandex、およびIdiap研究所によって採用され、Facebookは拡張モジュールのセットをオープンソースソフトウェアとしてリリースした。このライブラリはAndroidおよびiOSプラットフォームへの展開用にも拡張され、ニューラルネットワーク内のデータフロー用のハードウェア実装を構築するためにも使用された。これらの応用は、研究プロトタイプから本番システムまで、実世界の機械学習タスクを処理する際のTorchの多様性を強調した。
遺産と継承
Torchの開発は2017年にプロジェクトがPyTorchへ移行した際に終了した。PyTorchはPythonベースの移植版であり、Torchのコアコンセプトの多くを保持しつつ、Pythonのより広範なエコシステムを活用している。PyTorchはその後、現代の機械学習研究の基盤となり、トランスフォーマーモデルや大規模な生成AIシステムなどの分野での進歩を推進している。前身として、Torchはテンソル操作とモジュール式ニューラルネットワーク設計における基礎的な作業を築き、後のフレームワークに影響を与えた。しかし、Luaへの重点は、Pythonベースの代替手段と比較してその広範な採用を制限し、最終的な移行に寄与する要因となった。
遺産と影響
Torchの影響は直接の後継者を超えて広がっている。そのモジュールアーキテクチャと柔軟性への重点は、その後の機械学習ライブラリの設計に影響を与え、Cバックエンドのアルゴリズムと高水準スクリプトの使用は、パフォーマンス指向フレームワークの先例を設定した。PyTorchへの移行はTorchの貢献を広く使用されるツールに統合し、人工知能ソフトウェア開発の歴史におけるその役割を確固たるものにした。今日、PyTorchは大規模言語モデルのトレーニングや生成AIシステムを含む多数のアプリケーションを支えており、Torchによって導入された基礎概念に基づいて構築されている。