Salesforce Research ist die Abteilung für künstliche Intelligenz von Salesforce, einem cloudbasierten Softwareunternehmen mit Hauptsitz in San Francisco, Kalifornien. Die Gruppe betreibt Grundlagen- und angewandte Forschung in den Bereichen künstliche Intelligenz, maschinelles Lernen und verwandten Feldern, mit besonderem Schwerpunkt auf natürlicher Sprachverarbeitung, Computer Vision und bestärkendem Lernen. Ihre Arbeit wird in die Customer-Relationship-Management-Produkte (CRM) von Salesforce integriert, einschließlich der Einstein-KI-Funktionen, die Vertriebs-, Service- und Marketingteams unterstützen.
Die Organisation wurde 2014 unter der Leitung von Richard Socher gegründet, der bis 2020 als ihr Chefwissenschaftler tätig war. Sie operiert als Unternehmensforschungslabor, vergleichbar im Umfang mit Google DeepMind oder OpenAI, jedoch mit dem Fokus auf Unternehmenssoftware statt auf allgemeine KI. Salesforce Research hat hunderte von begutachteten Papieren auf großen Konferenzen wie NeurIPS, ICML und ACL veröffentlicht und unterhält Kooperationen mit akademischen Einrichtungen wie dem Stanford AI Lab, dem MIT CSAIL und der University of Toronto.
Wichtige Beiträge zur KI
Salesforce Research ist am bekanntesten für die Entwicklung der auf Transformatoren basierenden Architektur namens ProTran, die 2019 eingeführt wurde und die Effizienz des Trainings von großen Sprachmodellen durch einen dynamischen Token-zu-Token-Aufmerksamkeitsmechanismus verbesserte. Diese Arbeit beeinflusste spätere Modelle in dem Feld, erreichte jedoch nicht die gleiche kommerzielle Bekanntheit wie Modelle von OpenAI oder Anthropic. Die Gruppe trug auch zum Sequenz-zu-Sequenz-Lernen bei, insbesondere im Kontext von Konversations-KI und Frage-Antwort-Systemen.
Im Jahr 2020 veröffentlichte Salesforce Research CTRL, ein bedingtes Transformer-Sprachmodell, das über Steuercodes gesteuert werden konnte, um Text mit bestimmten Stilen oder Themen zu erzeugen. Dies gehörte zu den frühen Bemühungen, die Ausgaben von generativer KI steuerbarer zu machen, ein Konzept, das später von anderen Laboren übernommen wurde. Das Team entwickelte auch den QuALITY-Datensatz für das Leseverständnis langer Dokumente, der zu einem Maßstab für die Bewertung von Deep-Learning-Modellen bei komplexen Denkaufgaben wurde.
Forschungsbereiche und Projekte
Die Forschung der Abteilung erstreckt sich über mehrere Kernbereiche. Im Bereich natürliche Sprachverarbeitung hat sie an Multi-Head-Aufmerksamkeitsmechanismen und Verbesserungen der Positionskodierung für eine bessere Verarbeitung langer Sequenzen gearbeitet. Im Bereich Computer Vision hat Salesforce Research Residualnetz-Varianten und Datenerweiterungstechniken für die Bildklassifikation im Einzelhandels- und E-Commerce-Kontext untersucht. Projekte zum bestärkenden Lernen konzentrierten sich auf Curriculum-Lernen und Reinforcement Learning from AI Feedback (RLAIF) (bestärkendes Lernen aus KI-Feedback), um Agenten für die Automatisierung des Kundendienstes zu trainieren.
Ein bemerkenswertes Projekt ist die Entwicklung der Einstein-Plattform, die neuronale Netzwerkmodelle verwendet, um Kundenabwanderung vorherzusagen, Produkte zu empfehlen und E-Mail-Antworten zu automatisieren. Das Forschungsteam trug auch zur Open-Source-Bibliothek auf PyTorch-Basis bei, einschließlich der frühen Versionen der 'Transformers'-Bibliothek, obwohl dieses Projekt später unabhängig wurde. Darüber hinaus hat Salesforce Research Arbeiten zu Modellbeschneidung und Schichtnormalisierung veröffentlicht, um Modelle effizienter für die Bereitstellung auf Cloud-Infrastrukturen wie Amazon Web Services und Azure zu machen.
Führung und bedeutende Forscher
Richard Socher, ein ehemaliger Forscher des Stanford AI Lab, gründete die Gruppe und leitete sie bis 2020, als er sie verließ, um ein neues Unternehmen zu gründen. Zu den nachfolgenden Leitern gehörten Caiming Xiong, der Vizepräsident für Forschung wurde, und Nikhil Naik, der die angewandte Forschung leitete. Das Team umfasste prominente Persönlichkeiten wie Stephen Merity, bekannt für Arbeiten an rekurrenten neuronalen Netzen, und Bryan McCann, der zu Encoder-Decoder-Architekturen beitrug. Mehrere Forscher sind zu anderen KI-Organisationen gewechselt, darunter Google DeepMind und OpenAI, was den Einfluss der Gruppe in dem Feld widerspiegelt.
Stand 2024 beschäftigt Salesforce Research über 100 Forscher und Ingenieure mit Büros in Palo Alto, New York und London. Die Gruppe veröffentlicht ihre Ergebnisse offen, meldet aber auch Patente auf proprietäre Technologien an und balanciert damit akademische Offenheit mit kommerziellen Interessen. Ihr Jahresbudget wird nicht öffentlich bekannt gegeben, aber sie wird über die gesamten F&E-Ausgaben von Salesforce finanziert, die im Geschäftsjahr 2023 über 4 Milliarden US-Dollar lagen.
Einfluss und Branchenposition
Salesforce Research gilt als mittelständisches Unternehmens-KI-Labor, weniger prominent als Google DeepMind oder OpenAI, aber stärker auf praktische Unternehmensanwendungen ausgerichtet. Seine Modelle wurden in der Einstein-Suite von Salesforce eingesetzt, die über 150.000 Kunden bedient. Die Gruppe hat auch zu Open-Source-Ökosystemen beigetragen, indem sie Code für ihre Transformer-Varianten und Datensätze veröffentlichte, die in über 10.000 wissenschaftlichen Arbeiten zitiert wurden.
Im Vergleich zu Wettbewerbern wie den KI-Laboren von Amazon Web Services oder den Forschungsteams von Google Cloud betont Salesforce Research domänenspezifische Lösungen für CRM, wie Sentimentanalyse und Lead-Scoring. Es hat keine allgemeine künstliche Intelligenz oder AGI-Ziele verfolgt, sondern sich auf schmale, aufgabenspezifische Modelle konzentriert. Diese strategische Wahl hat es dem Unternehmen ermöglicht, im Markt für Unternehmenssoftware relevant zu bleiben, obwohl es weniger Medienaufmerksamkeit erhalten hat als größere KI-Forschungslabore.
Zukunftsaussichten
Für die Zukunft investiert Salesforce Research in generative KI für Geschäftsanwendungen, einschließlich automatischer Berichtserstellung und Zusammenfassung von Kundeninteraktionen. Die Gruppe erforscht auch Feinabstimmungstechniken für große Sprachmodelle unter Verwendung von Verlustfunktionen und Temperaturskalierung, um die Zuverlässigkeit der Ausgaben zu verbessern. Es wurden Partnerschaften mit NVIDIA und AMD angekündigt, um spezialisierte Hardware zu nutzen, obwohl spezifische Details noch in der Entwicklung sind. Ab 2024 veröffentlicht Salesforce Research weiterhin Forschung zu effizienten Deep-Learning-Methoden, um die Rechenkosten von KI zu senken und gleichzeitig die Genauigkeit zu erhalten.
Einfluss und Position im Feld
Salesforce Research gilt als ein KI-Labor der mittleren Ebene unter den Unternehmenslaboren, weniger prominent als Google DeepMind oder OpenAI, aber stärker auf praktische Unternehmensanwendungen ausgerichtet. Seine Modelle wurden in der Einstein-Suite von Salesforce eingesetzt, die über 150.000 Kunden bedient. Die Gruppe hat auch zu Open-Source-Ökosystemen beigetragen, indem sie Code für ihre Transformatoren-Varianten und Datensätze veröffentlichte, die in über 10.000 wissenschaftlichen Arbeiten zitiert wurden.
Im Vergleich zu Wettbewerbern wie den KI-Laboren von Amazon Web Services oder den Forschungsteams von Google Cloud betont Salesforce Research domänenspezifische Lösungen für CRM, wie Stimmungsanalyse und Lead-Scoring. Es hat keine allgemeine künstliche Intelligenz oder AGI-Ziele verfolgt, sondern sich auf schmale, aufgabenspezifische Modelle konzentriert. Diese strategische Wahl hat es dem Unternehmen ermöglicht, im Markt für Unternehmenssoftware relevant zu bleiben, obwohl es weniger Medienaufmerksamkeit erhalten hat als größere KI-Labore.
Zukunftsaussichten
In Zukunft investiert Salesforce Research in generative KI für Geschäftsanwendungen, einschließlich automatischer Berichtserstellung und Zusammenfassung von Kundeninteraktionen. Es erforscht auch die Feinabstimmung großer Sprachmodelle mit Verlustfunktionen und Schichtnormalisierung, um die Zuverlässigkeit der Ausgaben zu verbessern. Die Gruppe arbeitet mit NVIDIA und AMD zusammen, um das Training von Modellen auf spezialisierter Hardware zu optimieren, obwohl spezifische Details noch in der Entwicklung sind. Salesforce Research veröffentlicht weiterhin Forschung zu effizienten Deep-Learning-Methoden, um die Rechenkosten von KI zu senken und gleichzeitig die Genauigkeit zu erhalten.
Zukunftsperspektiven
Mit Blick auf die Zukunft investiert Salesforce Research in generative KI für Geschäftsanwendungen, wie die automatische Erstellung von Berichten und die Zusammenfassung von Kundeninteraktionen. Die Gruppe arbeitet auch an Feinabstimmungstechniken für große Sprachmodelle, die Verlustfunktionen und Temperaturskalierung nutzen, um die Genauigkeit und Zuverlässigkeit der Modelle zu verbessern. Es wurden Partnerschaften mit NVIDIA und AMD angekündigt, um das Training auf spezialisierter Hardware zu optimieren, obwohl spezifische Details noch nicht öffentlich sind. Bis 2025 veröffentlicht das Team weiterhin Forschung zu effizienten Deep-Learning-Methoden mit dem Ziel, die Rechenkosten von KI zu senken.