Falcon ist eine Familie von Open-Source-Large Language Models, die vom Technology Innovation Institute (TII) in Abu Dhabi entwickelt wurde. Erstmals veröffentlicht im März 2023, basieren die Falcon-Modelle auf einer Decoder-only-Architektur und werden auf hochwertigen Webdaten trainiert, mit einem Schwerpunkt auf Effizienz und Leistung. Die Falcon-Serie umfasst Modelle verschiedener Größen, von 1B bis 180B Parametern, wobei die größten Modelle wettbewerbsfähige Ergebnisse bei Standard-Benchmarks erzielen, während sie während der Inferenz weniger Rechenressourcen benötigen als einige Zeitgenossen.
Die Falcon-Modelle sind bekannt für ihre Verwendung von Multi-Query Attention (MQA)und Flash Attention, die die Speicherbandbreite reduzierenund die Dekodierung beschleunigen. Sie werden auf dem Falcon RefinedWeb-Datensatz trainiert, einem groß angelegten gefilterten Korpus öffentlicher Webtexte. Falcon-Modelle wurden unter permissiven Lizenzen veröffentlicht, wobei die kleineren Modelle unter der Apache-2.0-Lizenz stehenund die größeren Modelle unter einer benutzerdefinierten Lizenz, die die kommerzielle Nutzung einschränkt. Die Modelle wurden in der Open-Source-Community weit verbreitet übernommenund haben als Grundlage für verschiedene feinabgestimmte Varianten gedient.
Architektur und Training
Falcon-Modelle verwenden eine Standard-Transformer-Decoder-Architektur, jedoch mit mehreren Optimierungen. Sie verwenden rotierende Positions-Einbettungenund eine Kombination aus Multi-Query Attention für die größeren Modelle, die Schlüssel- und Wert-Köpfe über alle Abfrage-Köpfe hinweg teilt, wodurch der Speicherverbrauch reduziertund die Inferenzgeschwindigkeit verbessert wird. Die Trainingsdaten stammen aus dem Falcon RefinedWeb-Datensatz, der Milliarden von Tokens umfasst, die aus Common Crawl gefiltert wurden, mit zusätzlichen kuratierten Quellen für einige Modelle. Der Trainingsprozess verwendet den AdamW-Optimiererund einen Kosinus-Lernratenplan, mit einer maximalen Sequenzlänge von 2048 Tokens für die meisten Modelle.
Das größte Falcon-Modell, Falcon-180B, wurde auf 3.5 Billionen Tokens unter Verwendung von 384 GPUs trainiert,und es zeigt starke Leistungen bei Aufgaben zu Reasoning, Codierung,und allgemeinem Wissen. Trotz seiner Größe ist Falcon-180B darauf ausgelegt, effizient zu sein, mit einem Fokus auf die Reduzierung der Anzahl der während der Inferenz verwendeten Parameter durch Multi-Query Attention.
Modellvarianten und Veröffentlichungen
Falcon-Modelle wurden in mehreren Größenund Konfigurationen veröffentlicht. Die erste Veröffentlichung im März 2023 umfasste Falcon-1Bund Falcon-7B, beide unter der Apache-2.0-Lizenz. Im Mai 2023 wurde Falcon-40B veröffentlicht, der zu dieser Zeit die Open LLM Leaderboard anführte. Später, im September 2023, wurde Falcon-180B verfügbar gemacht, mit einer benutzerdefinierten Lizenz, die die kostenlose Nutzung für Forschungund nicht-kommerzielle Zwecke erlaubt, aber die kommerzielle Bereitstellung einschränkt. Kleinere Varianten, wie Falcon-3Bund Falcon-11B, wurden ebenfalls veröffentlicht, wobei das 11B-Modell einen anderen Aufmerksamkeitsmechanismus verwendet(Multi-Query Attention)und eine bemerkenswerte Effizienz erzielt.
Alle Falcon-Modelle sind auf dem Hugging Face Hub verfügbar,und sie wurden in verschiedene Inferenz-Frameworks integriert, einschließlich vLLMund TensorRT-LLM. Die Modelle wurden auch für Instruktionsbefolgungund Chat-Anwendungen feinabgestimmt, mit offiziellen Varianten wie Falcon-7B-Instructund Falcon-40B-Instruct.
Leistungund Benchmarks
Falcon-Modelle haben wettbewerbsfähige Leistungen bei einer Reihe von Benchmarks gezeigt. Falcon-40B zum Beispiel übertraf viele bestehende Open-Source-Modelle beim MMLU(Massive Multitask Language Understanding)-Benchmark, mit einer Punktzahl von 60.4%. Falcon-180B verbesserte diese Ergebnisse weiter, mit 70.4% bei MMLUund 68.2% bei HellaSwag,und es schnitt bei mehreren Aufgaben vergleichbar mit proprietären Modellen wie PaLM-2 Large ab. Bei Codierungs-Benchmarks erzielte Falcon-180B eine pass@1-Punktzahl von 19.3% bei HumanEval, was mit anderen großen Modellen wettbewerbsfähig ist.
Die Effizienz der Falcon-Modelle ist ein wichtiges Verkaufsargument. Die Verwendung von Multi-Query Attention reduziert den Speicherbedarfund beschleunigt die Inferenz, was sie für die Bereitstellung auf einzelnen GPUs geeignet macht. Zum Beispiel kann Falcon-40B auf einer einzelnen A100-GPU mit Quantisierung ausgeführt werden,und Falcon-180B erfordert mehrere GPUs, bietet aber dennoch ein günstiges Leistungs-Ressourcen-Verhältnis.
Auswirkungund Ökosystem
Falcon-Modelle haben erhebliche Auswirkungen auf die Open-Source-KI-Landschaft gehabt. Sie wurden als Basismodelle für zahlreiche feinabgestimmte Varianten verwendet, einschließlich instruktionsabgestimmterund Chat-Modelle,und sie wurden in Plattformen wie Hugging Face, Replicate,und AWS SageMaker integriert. Die Veröffentlichung von Falcon-40Bund Falcon-180B trug dazu bei, weitere Innovationen im effizienten großen Modelldesign anzuregen, und beeinflusste nachfolgende Modelle wie Llama 2und Mistral. Die Falcon-Modelle sind auch Teil der breiteren Forschungsbemühungen des TII im Bereich KI, die Arbeiten zur Verarbeitung natürlicher Spracheund Computer Vision umfassen.
Die permissive Lizenzierung der kleineren Falcon-Modelle hat die breite Übernahme in Forschungund kommerziellen Anwendungen gefördert, währenddie größeren Modelle in akademischen Studienund Industriepilotprojekten verwendet wurden. Die Falcon-Familie bleibt ein wichtiger Referenzpunkt in der Entwicklung von Open-Source-Large-Language-Models.