Huawei PanGu ist eine Familie von großen Sprachmodellen, die vom chinesischen Technologieunternehmen Huawei entwickelt wurde (kein Link in der Liste verfügbar). Die Serie wurde im April 2021 mit der Veröffentlichung von PanGu-α eingeführt, einem Modell mit 200 Milliarden Parametern, was es zu einem der größten Sprachmodelle seiner Zeit machte. PanGu-Modelle basieren auf der Transformer-Architektur und werden mit großen Korpora chinesischer und englischer Texte trainiert. Sie werden über Huawei Cloud als Teil ihrer KI-Dienste bereitgestellt, mit Anwendungen in den Bereichen Verständnis natürlicher Sprache, Generierung, Dialog und Codevervollständigung.
Architektur und Training
Die PanGu-Serie umfasst mehrere Modellvarianten, wie PanGu-α, PanGu-Coder und PanGu-Σ. PanGu-α, das ursprüngliche Modell, verwendet eine dichte Transformer-Architektur und wurde mit einem 2,6-Terabyte-Korpus trainiert. PanGu-Coder, 2022 veröffentlicht, ist ein spezialisiertes Modell für die Codegenerierung, das mit Open-Source-Coderepositorien trainiert wurde. PanGu-Σ, 2023 eingeführt, ist ein Sparse-Transformer-Modell mit Hunderten von Milliarden Parametern, das auf einer hierarchischen Architektur aufbaut, um die Rechenkosten zu senken. Das Training erfolgt auf Huaweis Ascend-910-KI-Chips und nutzt Residualverbindungen und Layer-Normalisierung für Stabilität.
Fähigkeiten und Anwendungen
Die PanGu-Modelle unterstützen Aufgaben wie Textzusammenfassung, maschinelle Übersetzung, Beantwortung von Fragen und Dialoggenerierung. In einer Evaluierung von 2021 wurde PanGu-α anhand mehrerer chinesischer Aufgaben zum Verständnis natürlicher Sprache bewertet und übertraf Berichten zufolge OpenAIs GPT-3 in Zero-Shot- und Few-Shot-Einstellungen bei mehreren Datensätzen. Huawei hat PanGu-Modelle in seine Cloud-Dienste integriert, einschließlich der Pangu-PanguStudio-Plattform, die Low-Code- und No-Code-Werkzeuge für Unternehmen bereitstellt, um kundenspezifische KI-Anwendungen zu erstellen. Die Modelle wurden in Branchen wie Finanzwesen, Gesundheitswesen und Fertigung eingesetzt, mit berichteten Bereitstellungen bei Partnerunternehmen wie TomTom, Intuitive Surgical und Commure für domänenspezifische Aufgaben, wobei Einzelheiten nicht weitgehend offengelegt werden.
Architekturverbesserungen
Um die Effizienz zu verbessern, enthält PanGu-Σ Innovationen wie eine Methode namens „Weight Lifting" und einen „Parallel Attention"-Mechanismus. Der Trainingsprozess verwendet Pruning- und Datenaugmentierung-Techniken, um Parameteraufblähung zu reduzieren. RLAIF (Reinforcement Learning aus KI-Feedback) wird in späteren Versionen übernommen, um die Ausgaben an Benutzerpräferenzen anzupassen. Die Modelle verwenden außerdem Multi-Head-Attention- und Cross-Attention-Blöcke über die Schichten hinweg.
Veröffentlichungsgeschichte und Ökosystem
PanGu-α wurde erstmals 2021 veröffentlicht. 2022 veröffentlichte Huawei PanGu-Coder und PanGu-CV für Vision. 2023 wurde PanGu-Σ mit angeblich 700 Milliarden Parametern veröffentlicht. 2024 startete Huawei PanGu Studio und PanGu-Foundation-Model-Dienste in seiner Cloud, zusammen mit der Integration in das HarmonyOS-Betriebssystem. Die Modelle sind über Huaweis Cloud-Plattform-Pendants zugänglich, werden aber auch direkt über Huawei Cloud angeboten. Partnerschaften mit Alibaba Cloud und anderen Anbietern sind nicht öffentlich.
Rezeption und Kontroversen
Im Jahr 2021 äußerten frühe Kritiker Bedenken hinsichtlich der Größe des Datensatzes und möglicher Datenlecks beim Training. Huawei veröffentlichte Benchmark-Ergebnisse, die behaupteten, dass PanGu-α GPT-3 bei einigen chinesischen Benchmarks übertraf, aber die unabhängige Verifizierung war begrenzt. Die Veröffentlichung des Modells führte zu Debatten über Benchmarks für Sprachmodelle und die Reproduzierbarkeit von Ergebnissen, was ähnliche Debatten um DeepMind und andere Labore widerspiegelt. PanGu ist auch Teil von Chinas Bestrebungen für eigene KI-Fähigkeiten und eine geringere Abhängigkeit von ausländischen Anbietern. Stand 2024 bleibt das Modell aktiv, wobei Huawei in die weitere Entwicklung investiert, um mit anderen LLMs wie GPT-4 und Anthropic zu konkurrieren (kein Link verfügbar).