Salesforce Research는 캘리포니아주 샌프란시스코에 본사를 둔 클라우드 기반 소프트웨어 기업인 Salesforce의 인공지능 연구 부서이다. 이 조직은 인공지능, 머신러닝 및 관련 분야에서 기초 및 응용 연구를 수행하며, 특히 자연어 처리, 컴퓨터 비전, 강화 학습에 중점을 둔다. 그 작업은 영업, 서비스, 마케팅 팀을 지원하는 Einstein AI 기능을 포함한 Salesforce의 고객 관계 관리(CRM) 제품에 통합된다.
이 조직은 2020년까지 수석 과학자로 재직한 Richard Socher의 지도 하에 2014년에 설립되었다. 이는 Google DeepMind나 OpenAI와 범위가 유사한 기업 연구소로 운영되지만, 범용 인공지능보다는 엔터프라이즈 소프트웨어에 초점을 맞춘다. Salesforce Research는 NeurIPS, ICML, ACL과 같은 주요 회의에서 수백 편의 동료 심사 논문을 발표했으며, 스탠퍼드 AI 연구소, MIT CSAIL, 토론토 대학교를 포함한 학술 기관과 협력을 유지하고 있다.
AI에 대한 주요 기여
Salesforce Research는 2019년에 도입된 동적 토큰 간 주의 메커니즘을 사용하여 대규모 언어 모델 훈련 효율성을 개선한 ProTran이라는 트랜스포머 기반 아키텍처를 개발한 것으로 가장 잘 알려져 있다. 이 작업은 이후 모델에 영향을 주었지만, OpenAI나 Anthropic의 모델과 같은 상업적 명성은 얻지 못했다. 또한 이 조직은 대화형 AI와 질문 응답 측면에서 특히 시퀀스-투-시퀀스 학습에 기여했다.
2020년, Salesforce Research는 제어 코드를 통해 특정 스타일이나 주제로 텍스트를 생성하도록 할 수 있는 조건부 트랜스포머 언어 모델인 CTRL을 출시했다. 이는 생성형 AI 출력을 더 제어 가능하게 만든 초기 시도 중 하나였으며, 나중에 다른 연구소에서 채택한 개념이다. 또한 팀은 장문 문서 독해 이해를 위한 QuALITY 데이터 세트를 개발했으며, 이는 복잡한 추론 작업에서 딥러닝 모델을 평가하는 벤치마크가 되었다.
연구 분야 및 프로젝트
이 부서의 연구는 여러 핵심 영역에 걸쳐 있다. 자연어 처리에서는 긴 시퀀스 처리를 개선하기 위해 멀티 헤드 어텐션 메커니즘과 위치 인코딩 개선 작업을 수행했다. 컴퓨터 비전에서 Salesforce Research는 소매 및 전자상거래 맥락의 이미지 분류를 위해 잔차 네트워크 변형과 데이터 증강 기술을 탐구했다. 강화 학습 프로젝트는 고객 서비스 자동화를 위한 에이전트를 훈련시키기 위해 커리큘럼 학습과 AI 피드백 기반 강화 학습(RLFIF)에 중점을 두었다.
주목할 만한 프로젝트 중 하나는 고객 이탈을 예측하고, 제품을 추천하며, 이메일 응답을 자동화하기 위해 신경망 모델을 사용하는 Einstein 플랫폼 개발이다. 연구 팀은 또한 초기 버전의 'transformers' 라이브러리를 포함한 PyTorch 기반 오픈 소스 도구에 기여했지만, 해당 프로젝트는 나중에 독립되었다. 또한 Salesforce Research는 AWS 및 Azure 같은 클라우드 인프라 배포를 위해 모델을 더 효율적으로 만들기 위한 모델 가지치기와 레이어 정규화에 대한 연구를 발표했다.
리더십 및 주요 연구자
스탠퍼드 AI 연구소 출신 연구원인 Richard Socher는 이 조직을 설립하고 2020년까지 이끌었으며, 이후 새로운 벤처를 시작하기 위해 떠났다. 후임 지도자로는 연구 부사장이 된 Caiming Xiong과 응용 연구를 지휘한 Nikhil Naik이 있다. 팀에는 순환 신경망 작업으로 알려진 Stephen Merity와 인코더-디코더 아키텍처에 기여한 Bryan McCann과 같은 저명한 인물이 포함되었다. 여러 연구원이 Google DeepMind와 OpenAI를 포함한 다른 AI 조직으로 이동하여 이 조직의 영향력을 반영했다.
2024년 현재 Salesforce Research는 팔로알토, 뉴욕, 런던에 사무소를 두고 100명 이상의 연구원과 엔지니어를 고용하고 있다. 이 조직은 발견 사항을 공개적으로 발표하지만 독점 기술에 대한 특허도 출원하여 학문적 개방성과 상업적 이해 관계 사이에서 균형을 맞추고 있다. 연간 예산은 공개되지 않았지만, 2023 회계 연도에 40억 달러를 초과한 Salesforce의 전체 R&D 지출을 통해 자금이 지원된다.
영향 및 산업 위치
Salesforce Research는 Google DeepMind나 OpenAI보다 덜 두드러지지만 실용적인 엔터프라이즈 애플리케이션에 더 초점을 맞춘 중간 규모의 기업 AI 연구소로 간주된다. 그 모델은 150,000명 이상의 고객에게 서비스를 제공하는 Salesforce의 Einstein 제품군에 배포되었다. 또한 이 조직은 자체 트랜스포머 변형과 데이터 세트에 대한 코드를 출시하여 오픈 소스 생태계에 기여했으며, 이 코드는 10,000개 이상의 학술 논문에서 인용되었다.
AWS나 Google Cloud의 AI 연구소와 같은 경쟁사와 비교하여 Salesforce Research는 감정 분석이나 잠재 고객 점수 매기기와 같은 CRM을 위한 도메인 특화 솔루션을 강조한다. 일반 목적의 인공지능이나 AGI 목표를 추구하지 않고 좁고 작업 특화된 모델에 집중한다. 이러한 전략적 선택은 덜 주목받았음에도 불구하고 엔터프라이즈 소프트웨어 시장에서 관련성을 유지하게 했다.
향후 방향
앞으로 Salesforce Research는 비즈니스 애플리케이션을 위한 생성형 AI에 투자하고 있으며, 자동 보고서 생성과 출력 신뢰성을 개선하기 위한 대규모 언어 모델 탐구 및 온도 스케일링을 포함한다. 또한 이 조직은 NVIDIA 및 AMD와 협력하여 특수 하드웨어에서 모델 훈련을 최적화할 계획을 발표했지만, 구체적인 세부 사항은 개발 중이다. 2024년 현재 정확도를 유지하면서 AI의 계산 비용을 줄이는 효율적인 딥러닝 연구를 계속 발표하고 있다.
영향
Salesforce Research는 중간 규모의 기업 AI 연구소로 간주되며, Google DeepMind나 OpenAI보다 덜 두드러지지만 실용적인 엔터프라이즈 애플리케이션에 더 초점을 맞춘다. 그 모델은 150,000명 이상의 고객에게 서비스를 제공하는 Einstein 제품군에 통합되었다. 또한 이 조직은 오픈 소스 생태계에 기여하여 자체 트랜스포머 변형과 데이터 세트를 출시했으며, 이는 10,000개 이상의 학술 논문에서 인용되었다.
AWS의 AI 연구소와 같은 경쟁사와 달리 Salesforce Research는 도메인 특화 솔루션을 강조한다. 일반 목적의 인공지능이나 AGI 목표를 추구하지 않고 좁은 작업에 집중한다. 이러한 전략적 선택은 미디어 주목을 덜 받았음에도 불구하고 CRM 소프트웨어 시장에서 관련성을 유지하게 했다.
향후 방향
앞으로 Salesforce Research는 비즈니스 응용을 위한 생성형 AI에 주력할 예정이다. 이 조직은 손실 함수와 레이어 정규화를 사용한 미세 조정 기술을 통해 출력 신뢰성을 개선하고자 한다. NVIDIA와 AMD와 같은 하드웨어 제조업체와의 협력을 통해 모델 훈련 최적화를 추진하고 있으며, 구체적인 세부 사항은 아직 공개되지 않았다. 2024년 현재까지 딥러닝의 효율성을 연구하며 AI의 계산 비용을 줄이면서 정확성을 유지하는 데 계속 초점을 맞추고 있다.