Salesforce Research est la division de recherche en intelligence artificielle de Salesforce, une entreprise de logiciels basés sur le cloud dont le siège est à San Francisco, en Californie. Le groupe mène des recherches fondamentales et appliquées dans les domaines de l'intelligence artificielle, de l'apprentissage automatique et des domaines connexes, avec un accent particulier sur le traitement du langage naturel, la vision par ordinateur et l'apprentissage par renforcement. Ses travaux sont intégrés dans les produits de gestion de la relation client (CRM) de Salesforce, notamment les fonctionnalités d'IA Einstein qui assistent les équipes commerciales, de service et de marketing.
L'organisation a été créée en 2014 sous la direction de Richard Socher, qui a occupé le poste de scientifique en chef jusqu'en 2020. Elle fonctionne comme un laboratoire de recherche d'entreprise, d'une portée similaire à celle de Google DeepMind ou OpenAI, mais avec un accent sur les logiciels d'entreprise plutôt que sur l'IA à usage général. Salesforce Research a publié des centaines d'articles évalués par des pairs lors de grandes conférences telles que NeurIPS, ICML et ACL, et maintient des collaborations avec des institutions académiques, notamment Stanford AI Lab, MIT CSAIL et University of Toronto.
Contributions clés à l'IA
Salesforce Research est surtout connu pour avoir développé l'architecture basée sur le transformeur appelée ProTran, introduite en 2019, qui a amélioré l'efficacité de l'entraînement des grands modèles de langage grâce à un mécanisme d'attention dynamique de jeton à jeton. Ces travaux ont influencé les modèles ultérieurs dans le domaine, bien qu'ils n'aient pas atteint la même notoriété commerciale que les modèles d'OpenAI ou Anthropic. Le groupe a également contribué à l'apprentissage séquence à séquence, en particulier dans le contexte de l'IA conversationnelle et de la réponse aux questions.
En 2020, Salesforce Research a publié CTRL, un modèle de langage transformeur conditionnel qui pouvait être contrôlé via des codes de contrôle pour générer du texte avec des styles ou des sujets spécifiques. Cela a été l'un des premiers efforts pour rendre les sorties de l'IA générative plus orientables, un concept adopté plus tard par d'autres laboratoires. L'équipe a également développé l'ensemble de données QuALITY pour la compréhension de lecture de documents longs, qui est devenu une référence pour évaluer les modèles de apprentissage profond sur des tâches de raisonnement complexes.
Domaines de recherche et projets
La recherche de la division couvre plusieurs domaines fondamentaux. En traitement du langage naturel, elle a travaillé sur les mécanismes de attention multi-têtes et les améliorations de encodage positionnel pour mieux gérer les longues séquences. En vision par ordinateur, Salesforce Research a exploré des variantes de réseaux résiduels et des techniques de augmentation de données pour la classification d'images dans les contextes de la vente au détail et du commerce électronique. Les projets d'apprentissage par renforcement se sont concentrés sur l'apprentissage par programme et le RLAIF (apprentissage par renforcement à partir de retours d'IA) pour entraîner des agents à l'automatisation du service client.
Un projet notable est le développement de la plateforme Einstein, qui utilise des modèles de réseaux de neurones pour prédire l'attrition des clients, recommander des produits et automatiser les réponses par courriel. L'équipe de recherche a également contribué à la bibliothèque open source basée sur PyTorch, y compris les premières versions de la bibliothèque 'transformers', bien que ce projet soit devenu indépendant par la suite. De plus, Salesforce Research a publié des travaux sur l'élagage de modèles et la normalisation de couches pour rendre les modèles plus efficaces pour le déploiement sur des infrastructures cloud comme Amazon Web Services et Microsoft Azure.
Direction et chercheurs notables
Richard Socher, ancien chercheur au Stanford AI Lab, a fondé le groupe et l'a dirigé jusqu'en 2020, date à laquelle il est parti pour créer une nouvelle entreprise. Les dirigeants suivants comprenaient Caiming Xiong, devenu vice-président de la recherche, et Nikhil Naik, qui a dirigé la recherche appliquée. L'équipe a inclus des personnalités éminentes telles que Stephen Merity, connu pour ses travaux sur les réseaux de neurones récurrents, et Bryan McCann, qui a contribué aux architectures encodeur-décodeur. Plusieurs chercheurs sont passés à d'autres organisations d'IA, notamment Google DeepMind et OpenAI, reflétant l'influence du groupe dans le domaine.
En 2024, Salesforce Research emploie plus de 100 chercheurs et ingénieurs, avec des bureaux à Palo Alto, New York et Londres. Le groupe publie ses résultats ouvertement, mais il dépose également des brevets sur des technologies propriétaires, équilibrant l'ouverture académique et les intérêts commerciaux. Son budget annuel n'est pas divulgué publiquement, mais il est financé par les dépenses globales de R&D de Salesforce, qui ont dépassé 4 milliards de dollars au cours de l'exercice 2023.
Impact et position dans l'industrie
Salesforce Research est considéré comme un laboratoire d'IA d'entreprise de niveau intermédiaire, moins important que Google DeepMind ou OpenAI mais plus axé sur les applications pratiques pour les entreprises. Ses modèles ont été déployés dans la suite Einstein de Salesforce, qui sert plus de 150 000 clients. Le groupe a également contribué aux écosystèmes open source, en publiant le code de ses variantes de transformeur et des ensembles de données, qui ont été cités dans plus de 10 000 articles académiques.
Comparé à des concurrents comme les laboratoires d'IA d'Amazon Web Services ou les équipes de recherche de Google Cloud, Salesforce Research met l'accent sur des solutions spécifiques au domaine pour le CRM, telles que l'analyse des sentiments et la notation des prospects. Il n'a pas poursuivi d'intelligence artificielle à usage général ni d'objectifs d'AGI, se concentrant plutôt sur des modèles étroits et spécifiques aux tâches. Ce choix stratégique lui a permis de maintenir sa pertinence sur le marché des logiciels d'entreprise, bien qu'il ait reçu moins d'attention médiatique que les grandes organisations de recherche en IA.
Orientations futures
À l'avenir, Salesforce Research investit dans l'IA générative pour les applications commerciales, y compris la génération automatisée de rapports et la synthèse des interactions avec les clients. Il explore également des techniques de réglage fin des grands modèles de langage utilisant des fonctions de perte et un ajustement de température pour améliorer la fiabilité des sorties. Le groupe a annoncé des partenariats avec NVIDIA et AMD pour optimiser l'entraînement des modèles sur du matériel spécialisé, bien que les détails spécifiques restent en cours de développement. En 2025, il continue de publier des recherches sur des méthodes efficaces de apprentissage profond, visant à réduire le coût de calcul de l'IA tout en maintenant la précision.