Salesforce Researchは、カリフォルニア州サンフランシスコに本社を置くクラウドベースのソフトウェア企業であるSalesforceの人工知能研究部門である。このグループは、人工知能、機械学習、および関連分野における基礎研究と応用研究を実施しており、特に自然言語処理、コンピュータビジョン、強化学習に重点を置いている。その研究成果は、営業、サービス、マーケティングチームを支援するEinstein AI機能を含む、Salesforceの顧客関係管理（CRM）製品に統合されている。
この組織は2014年にRichard Socherの指揮の下で設立され、彼は2020年まで主任科学者を務めた。これは企業研究ラボとして運営されており、Google DeepMindやOpenAIと規模は類似しているが、汎用AIではなくエンタープライズソフトウェアに焦点を当てている。Salesforce Researchは、NeurIPS、ICML、ACLなどの主要会議で数百件の査読付き論文を発表しており、スタンフォードAIラボ、MIT CSAIL、トロント大学などの学術機関との協力関係を維持している。
AIへの主要な貢献
Salesforce Researchは、2019年に導入されたトランスフォーマーベースのアーキテクチャであるProTranの開発で最もよく知られており、動的なトークン間注意機構を使用して大規模言語モデルのトレーニング効率を向上させた。この研究は後の分野のモデルに影響を与えたが、OpenAIやAnthropicのモデルほど商業的な知名度は得られなかった。また、このグループは系列変換学習、特に会話型AIと質問応答の文脈にも貢献した。
2020年、Salesforce ResearchはCTRLをリリースした。これは制御コードを介して特定のスタイルやトピックのテキストを生成できる条件付きトランスフォーマー言語モデルである。これは生成AIの出力をより制御可能にする初期の取り組みの一つであり、後に他の研究所でも採用された概念である。また、このチームは長文書読解のためのQuALITYデータセットも開発し、複雑な推論タスクにおける深層学習モデルの評価ベンチマークとなった。
研究領域とプロジェクト
この部門の研究はいくつかの主要領域にわたる。自然言語処理では、長いシーケンスをより適切に処理するためのマルチヘッド注意機構と位置エンコーディングの改善に取り組んできた。コンピュータビジョンでは、Salesforce Researchは小売および電子商取引の文脈における画像分類のための残差ネットワークの変種とデータ拡張技術を探求してきた。強化学習プロジェクトは、カスタマーサービス自動化のためのエージェントを訓練するカリキュラム学習とAIフィードバックからの強化学習に焦点を当てている。
注目すべきプロジェクトの一つは、ニューラルネットワークモデルを使用して顧客離脱を予測し、製品を推奨し、メール応答を自動化するEinsteinプラットフォームの開発である。研究チームはまた、PyTorchベースのオープンソースライブラリ、特に「transformers」ライブラリの初期バージョンにも貢献したが、そのプロジェクトは後に独立した。さらに、Salesforce Researchはモデル枝刈りと層正規化に関する研究を発表し、Amazon Web ServicesやAzureなどのクラウドインフラストラクチャへの展開をより効率的にしている。
リーダーシップと著名な研究者
元スタンフォードAIラボの研究者であるRichard Socherは、このグループを設立し、2020年に新しいベンチャーを立ち上げるために去るまで率いた。後任のリーダーには、研究担当副社長となったCaiming Xiongや、応用研究を指揮したNikhil Naikが含まれる。チームには、リカレントニューラルネットワークの研究で知られるStephen Merityや、エンコーダ・デコーダアーキテクチャに貢献したBryan McCannなどの著名な人物が含まれていた。数人の研究者はGoogle DeepMindやOpenAIなどの他のAI組織に移籍しており、このグループの分野への影響力を反映している。
2024年現在、Salesforce Researchはパロアルト、ニューヨーク、ロンドンにオフィスを構え、100人以上の研究者とエンジニアを雇用している。このグループは研究成果を公開しているが、独自技術に関する特許も申請しており、学術的な開放性と商業的利益のバランスを取っている。年間予算は公表されていないが、Salesforce全体の研究開発費から資金提供されており、2023会計年度には40億ドルを超えた。
影響と業界での位置付け
Salesforce Researchは中堅の企業AIラボと見なされており、Google DeepMindやOpenAIほど著名ではないが、実用的なエンタープライズアプリケーションに重点を置いている。そのモデルは、15万以上の顧客にサービスを提供するSalesforceのEinsteinスイートに展開されている。また、このグループはオープンソースエコシステムにも貢献しており、トランスフォーマーの変種やデータセットのコードをリリースし、1万以上の学術論文で引用されている。
Amazon Web ServicesのAIラボやGoogle Cloudの研究チームなどの競合他社と比較して、Salesforce Researchは感情分析やリードスコアリングなどのCRM向けドメイン固有ソリューションを重視している。汎用人工知能やAGIの目標は追求しておらず、代わりに狭くタスク固有のモデルに焦点を当てている。この戦略的選択により、エンタープライズソフトウェア市場での関連性を維持できたが、大規模なAI研究組織ほどメディアの注目は受けていない。
今後の方向性
今後、Salesforce Researchは、自動レポート生成や顧客インタラクションの要約など、ビジネスアプリケーション向けの生成AIに投資している。また、損失関数と温度スケーリングを使用した大規模言語モデルのファインチューニング技術を探求し、出力の信頼性を向上させている。このグループは、特殊なハードウェアでのモデルトレーニングを最適化するためにNVIDIAとAMDとの提携を発表しているが、具体的な詳細は開発中である。2025年現在、精度を維持しながらAIの計算コストを削減することを目的とした効率的な深層学習手法の研究を引き続き発表している。