Hugging Face Transformers ist eine Open-Source-Softwarebibliothek, die von Hugging Face, Inc. entwickelt wurde, einem in New York City ansässigen Unternehmen, das 2016 von den französischen Unternehmern Clément Delangue, Julien Chaumond und Thomas Wolf gegründet wurde. Die Bibliothek bietet eine einheitliche Schnittstelle zum Herunterladen, Trainieren und Ausführen von vortrainierten Transformer-Modellen, hauptsächlich für Aufgaben der natürlichen Sprachverarbeitung wie Textklassifikation, Übersetzung, Zusammenfassung und Fragenbeantwortung. Sie unterstützt Modelle von großen Anbietern, darunter OpenAI, Anthropic und Google DeepMind, und integriert sich in gängige Machine-Learning-Frameworks wie PyTorch und TensorFlow. Die Bibliothek ist ein Eckpfeiler des Hugging-Face-Ökosystems, zu dem auch der Hugging Face Hub zum Teilen von Modellen und Datensätzen gehört, und wird sowohl in der Wissenschaft als auch in der Industrie häufig eingesetzt.
Die Bibliothek wurde 2018 als Teil der Umstellung von Hugging Face von einer Chatbot-App auf eine Machine-Learning-Plattform eingeführt. Sie wurde schnell zu einem Standardwerkzeug für Forscher und Entwickler und bot Zugang zu Tausenden von vortrainierten Modellen mit minimalem Codeaufwand. Ab 2025 unterstützt sie eine breite Palette von Modellarchitekturen, darunter Large Language Models, Vision-Language-Modelle und Sprachmodelle, und ist mit Hardwarebeschleunigern von AMD, Intel und Nvidia kompatibel.
Architektur und Funktionen
Hugging Face Transformers ist um eine High-Level-API herum aufgebaut, die die Komplexität der Modellimplementierung abstrahiert. Sie bietet AutoModel- und AutoTokenizer-Klassen, die automatisch die passende Architektur und den Tokenizer basierend auf einer Modellkennung laden. Die Bibliothek unterstützt sowohl PyTorch als auch TensorFlow, sodass Benutzer mit minimalen Änderungen zwischen den Frameworks wechseln können. Zu den wichtigsten Funktionen gehören:
- Modell-Hub-Integration: Nahtloses Herunterladen und Hochladen von Modellen und Datensätzen vom Hugging Face Hub.
- Trainingswerkzeuge: Integrierte Unterstützung für Feintuning mit der
Trainer-Klasse, einschließlich verteiltem Training und gemischter Präzision. - Inferenzoptimierung: Integration mit Inferenz-Engines wie vLLM und sglang für effizientes Serving.
- Exportfunktionen: Die Optimum-Bibliothek kann Modelle für die Bereitstellung auf verschiedenen Plattformen in ONNX exportieren.
Die Bibliothek ist so konzipiert, dass sie framework-agnostisch ist und sowohl Eager Execution als auch graphbasierte Kompilierung unterstützt. Sie enthält auch Werkzeuge für Tokenisierung, Feature-Extraktion und pipelinebasierte Inferenz, was sie sowohl für Anfänger als auch für fortgeschrittene Benutzer zugänglich macht.
Ökosystem und Integrationen
Hugging Face Transformers ist Teil eines größeren Software-Ökosystems, zu dem der Hugging Face Hub, die Datensatzbibliothek und die Tokenizer-Bibliothek gehören. Sie integriert sich in zahlreiche externe Werkzeuge und Frameworks:
- llama.cpp und Ollama können GGUF-Modelle direkt vom Hugging Face Hub herunterladen und ausführen.
- LM Studio unterstützt die Suche und Ausführung von GGUF- und MLX-Modellen vom Hub.
- MLX, das Machine-Learning-Framework von Apple, integriert sich über MLX-LM für On-Device-Inferenz.
- ONNX Runtime wird über Optimum für die plattformübergreifende Bereitstellung unterstützt.
- NVIDIA Nemotron-Modelle werden nativ unterstützt, und die Bibliothek funktioniert mit AWS Trainium und anderer spezialisierter Hardware.
Diese Integrationen machen Transformers zu einem zentralen Knotenpunkt für Modellinteroperabilität und ermöglichen es Benutzern, eine Vielzahl von vortrainierten Modellen in verschiedenen Umgebungen zu nutzen.
Auswirkungen und Nutzung
Seit seiner Veröffentlichung ist Hugging Face Transformers eine der am häufigsten verwendeten Bibliotheken in künstlicher Intelligenz und Deep Learning. Sie wird in Tausenden von Forschungsarbeiten zitiert und von großen Unternehmen wie Amazon Web Services, Google Cloud und Azure eingesetzt. Die Bibliothek hat den Zugang zu modernsten Modellen demokratisiert und ermöglicht es Entwicklern, generative KI-Funktionen mit minimalem Aufwand in Anwendungen zu integrieren. Ihr Open-Source-Charakter hat eine große Gemeinschaft gefördert, die Modelle, Tutorials und Erweiterungen beiträgt.
Die Bibliothek hat auch eine Rolle in großen Initiativen gespielt, wie dem BigScience Research Workshop, der das BLOOM-Modell hervorbrachte, sowie Kooperationen mit Meta und UNICEF (wobei letztere nicht direkt damit zusammenhängt). Ab 2025 bleibt sie ein zentrales Werkzeug für Forschung und Produktion, mit laufenden Updates zur Unterstützung neuer Architekturen und Hardware.
Entwicklung und Governance
Hugging Face Transformers wird offen auf GitHub entwickelt, mit Beiträgen aus einer globalen Gemeinschaft. Das Projekt wird von Hugging Face, Inc. geleitet, das auch den Hugging Face Hub und verwandte Werkzeuge betreut. Die Bibliothek wird unter der Apache-Lizenz 2.0 veröffentlicht, was freie Nutzung und Modifikation ermöglicht. Regelmäßige Veröffentlichungen führen neue Modelle, Leistungsverbesserungen und Fehlerbehebungen ein, mit einem starken Fokus auf Abwärtskompatibilität.
Die Bewertung des Unternehmens erreichte im August 2023 4,5 Milliarden US-Dollar nach einer Finanzierungsrunde, die von Salesforce, Google und Nvidia unterstützt wurde. Im August 2026 erklärte sich Nvidia bereit, Hugging Face für 12,9 Milliarden US-Dollar zu übernehmen, ein Schritt, der voraussichtlich die Integration von Transformers in den Hardware- und Software-Stack von Nvidia weiter vertiefen wird.