Torch ist eine Open-Source-Bibliothek für maschinelles Lernen, ein wissenschaftliches Rechenframework und eine Skriptsprache, die auf Lua basiert. Sie bietet LuaJIT-Schnittstellen zu Deep-Learning-Algorithmen, die in C implementiert sind. Die Bibliothek wurde vom Idiap Research Institute erstellt und 2017 als PyTorch nach Python portiert, woraufhin sich die aktive Entwicklung auf die Python-Version verlagerte. Torch bietet eine flexible Reihe von Werkzeugen zum Aufbau und Training von neuralen Netzen, einschließlich Tensoren, neuronalen Netzwerkmodulen und Optimierungsfunktionen. Sein Design beeinflusste nachfolgende Deep-Learning-Frameworks und trug zum breiteren Feld des Deep Learning und des maschinellen Lernens als Teil des Forschungsökosystems der künstlichen Intelligenz bei.
Kernpaket: torch
Das Kernpaket von Torch, genannt torch, bietet ein flexibles N-dimensionales Array namens Tensor, das Indizierung, Slicing, Transponieren, Typumwandlung, Größenänderung, gemeinsame Speichernutzung und Klonen unterstützt. Tensoren sind die grundlegende Datenstruktur, die von den meisten anderen Paketen des Frameworks verwendet wird. Sie unterstützen mathematische Operationen wie Max, Min und Summe, statistische Verteilungen wie uniform, normal und multinomial sowie grundlegende lineare Algebra-Operationen (BLAS), einschließlich Skalarprodukt, Matrix-Vektor-Multiplikation, Matrix-Matrix-Multiplikation und Matrixprodukt. Das Paket vereinfacht auch objektorientierte Programmierung und Serialisierung durch praktische Funktionen. Die Funktion torch.class ermöglicht die Erstellung von Objektfabriken (Klassen), und Objekte, die über diesen Mechanismus erstellt werden, können serialisiert werden, wenn sie keine nicht unterstützten Referenzen wie Lua-Koroutinen oder Userdata enthalten (es sei denn, Userdata wird in Tabellen mit read- und write-Methoden eingebettet).
Paket für neuronale Netze (nn)
Das nn-Paket ist für den Aufbau neuronaler Netze konzipiert. Es besteht aus modularen Objekten, die eine gemeinsame Module-Schnittstelle mit forward()- und backward()-Methoden für Vorwärtsausbreitung und Backpropagation teilen. Module können mit zusammengesetzten Strukturen wie Sequential, Parallel und Concat kombiniert werden, während einfachere Module wie Linear, Tanh und Max die grundlegenden Bausteine bilden. Diese modulare Schnittstelle bietet automatische Differentiation erster Ordnung. Verlustfunktionen werden als Unterklassen von Criterion implementiert, die eine ähnliche Schnittstelle haben und Verlust sowie Gradienten berechnen. Häufige Kriterien sind MSECriterion (mittlerer quadratischer Fehler) und ClassNLLCriterion (Kreuzentropie). Das Paket enthält auch eine StochasticGradient-Klasse für das Training mit stochastischem Gradientenabstieg, obwohl das optim-Paket mehr Optionen bietet, wie Momentum und Gewichtsabfall-Regularisierung.
Zusätzliche Pakete
Über die offiziellen Kernpakete (torch und nn) hinaus erweitern mehrere zusätzliche Pakete die Funktionalität von Torch. Diese Pakete bieten Dienstprogramme für parallele Berechnung, asynchrone Eingabe/Ausgabe, Bildverarbeitung und andere spezialisierte Aufgaben. Sie werden typischerweise über den Lua-Paketmanager LuaRocks installiert, der in der Standardverteilung von Torch enthalten ist. Die Community entwickelte eine breite Palette von Erweiterungen, sodass Torch sich an verschiedene Anwendungsdomänen anpassen konnte.
Anwendungen
Torch wurde von mehreren prominenten Forschungs- und Industriegruppen verwendet, darunter die Facebook AI Research Group, IBM, Yandex und das Idiap Research Institute. Es wurde für die Nutzung auf mobilen Plattformen wie Android und iOS erweitert und zur Implementierung von Hardware-Lösungen für Datenflüsse wie jene in neuronalen Netzen verwendet. Facebook veröffentlichte außerdem eine Reihe von Erweiterungsmodulen als Open-Source-Software, was die Flexibilität der Bibliothek in Produktions- und Forschungsumgebungen demonstriert.
Vermächtnis und Übergang zu PyTorch
Die Entwicklung wechselte 2017 zu PyTorch, einem Port der ursprünglichen Bibliothek nach Python. PyTorch behält die Kernkonzepte von Tensoren und dynamischen Berechnungsgraphen bei, nutzt jedoch das Python-Ökosystem für eine breitere Akzeptanz. Der Wechsel führte dazu, dass PyTorch eines der am weitesten verbreiteten Frameworks in der Deep-Learning-Forschung und -Industrie wurde, mit bedeutendem Einfluss auf nachfolgende Werkzeuge wie große Sprachmodelle und Transformer-Architekturen. Heute wird Torch weniger aktiv entwickelt, bleibt aber historisch bedeutsam als Vorläufer von PyTorch und als Beitragender zur Entwicklung moderner Deep-Learning-Frameworks.