Thomas Scialom ist ein Forschungswissenschaftler bei Meta AI (heute Teil der KI-Forschung bei Meta), bekannt für seine Arbeit an großen Sprachmodellen und maschinellem Lernen. Er ist vor allem als Mitautor von Llama 2 bekannt, einer Familie von Open-Source-Sprachmodellen, die 2023 veröffentlicht wurde, sowie für seine Forschung zur Verbesserung der faktischen Genauigkeit und der Argumentationsfähigkeiten dieser Modelle durch Techniken wie retrieval-augmentierte Generierung und reinforcement learning from human feedback (RLHF). Seine Arbeit hat sowohl die akademische Forschung als auch praktische Anwendungen in generativer KI beeinflusst.
Scialoms Forschung liegt an der Schnittstelle von Deep Learning, Verarbeitung natürlicher Sprache und neuronalen Netzwerkarchitekturen. Er hat zu mehreren Projekten bei Meta AI beigetragen, einschließlich der Entwicklung von Llama und seinen Nachfolgern, und hat umfangreich zu Themen wie Textzusammenfassung, Fragebeantwortung und Modellausrichtung publiziert. Seine Beiträge sind Teil einer breiteren Anstrengung innerhalb der KI-Gemeinschaft, zuverlässigere und kontrollierbarere Sprachmodelle zu schaffen.
Frühe Karriere und Bildung
Thomas Scialom schloss seine Doktorandenstudien in Informatik ab, mit Schwerpunkt auf Verarbeitung natürlicher Sprache und Deep Learning. Seine Doktorarbeit, die in Zusammenarbeit mit akademischen Einrichtungen und Industrielabors durchgeführt wurde, untersuchte neuartige Ansätze zur Textzusammenfassung und Sequence-to-Sequence (Seq2Seq)-Modellen. Später trat er als Forschungswissenschaftler Meta AI (ehemals Facebook AI Research) bei, wo er begann, an groß angelegten Sprachmodellen zu arbeiten.
Während seiner frühen Karriere trug Scialom zu mehreren grundlegenden Arbeiten über Transformer-basierte Architekturen bei, insbesondere im Kontext von Zusammenfassung und Dialogsystemen. Seine Arbeit betonte oft die Bedeutung von Evaluationsmetriken und menschlicher Bewertung bei der Beurteilung der Modellleistung, ein Thema, das sich in seiner späteren Forschung zu RLHF fortsetzte.
Beiträge zu Llama 2
Scialom war ein wichtiger Mitwirkender an Llama 2, das im Juli 2023 von Meta AI veröffentlicht wurde. Llama 2 ist eine Sammlung von vortrainierten und feinabgestimmten großen Sprachmodellen mit 7 bis 70 Milliarden Parametern. Im Gegensatz zu seinem Vorgänger wurde Llama 2 für die kommerzielle Nutzung verfügbar gemacht, was eine bedeutende Verschiebung in der Open-Source-KI-Landschaft markierte. Scialom war Mitautor des begleitenden technischen Berichts, der die Architektur, Trainingsdaten und den Ausrichtungsprozess des Modells detailliert beschrieb.
Ein bemerkenswerter Aspekt von Llama 2 war die Verwendung von Reinforcement Learning aus menschlichem Feedback zur Verbesserung von Hilfsbereitschaft und Sicherheit. Scialoms Forschung zu RLHF, einschließlich der Entwicklung von Belohnungsmodellen und Proximal-Policy-Optimization-Techniken, war für diese Bemühung entscheidend. Die Veröffentlichung des Modells förderte eine breite Übernahme und beeinflusste nachfolgende Open-Source-Modelle anderer Organisationen.
Forschung zu Retrieval-Augmentierter Generierung
Über Llama 2 hinaus hat Scialom bedeutende Beiträge zur retrieval-augmentierten Generierung (RAG) geleistet, einer Methode, die Informationsabruf mit generativen Modellen kombiniert, um die faktische Genauigkeit zu verbessern. Seine Arbeit in diesem Bereich, einschließlich des Papiers „Recitation-Augmented Language Models“ (2022), zeigte, wie das Auffordern von Modellen, relevante Passagen vor der Generierung von Antworten zu rezitieren, die Leistung bei wissensintensiven Aufgaben verbessern kann.
Diese Forschungsrichtung adressierte eine zentrale Einschränkung großer Sprachmodelle: ihre Tendenz, plausible, aber falsche Informationen zu produzieren, oft als Halluzination bezeichnet. Durch die Integration externer Wissensquellen zielten Scialoms Methoden darauf ab, Modellausgaben in überprüfbaren Fakten zu verankern, eine Richtung, die für viele KI-Anwendungen, einschließlich Fragebeantwortung und Faktenprüfung, zentral geworden ist.
Wirkung und Anerkennung
Scialoms Arbeit wird in der KI-Gemeinschaft häufig zitiert, und er ist ein regelmäßiger Redner bei Konferenzen wie NeurIPS, ICML und ACL. Seine Beiträge zur Open-Source-KI, insbesondere durch Llama 2, wurden für die Demokratisierung des Zugangs zu fortschrittlichen Sprachmodellen gelobt. Er hat auch mit Forschern anderer führender Institutionen zusammengearbeitet, einschließlich Google DeepMind und OpenAI, zu Themen im Zusammenhang mit Modellevaluierung und -ausrichtung.
Stand 2024 arbeitet Scialom weiterhin bei Meta AI, mit Fokus auf die Verbesserung der Argumentations- und Sicherheitsfähigkeiten großer Sprachmodelle. Seine Forschung bleibt einflussreich für die Gestaltung der Richtung der künstlichen Intelligenz, insbesondere bei der Entwicklung von Modellen, die sowohl leistungsstark als auch zuverlässig sind.
Siehe auch
- Großes Sprachmodell
- Reinforcement Learning aus menschlichem Feedback
- Retrieval-augmentierte Generierung
- Meta AI