DeepSeek est une entreprise de recherche en intelligence artificielle basée à Hangzhou, en Chine, fondée en 2023 par Liang Wenfeng, qui a également fondé et continué à financer l'entreprise via High-Flyer, un fonds spéculatif quantitatif qu'il avait cofondé en 2015. L'activité de trading de High-Flyer avait déjà accumulé d'importants stocks de matériel GPU pour le trading algorithmique, offrant à DeepSeek une base de calcul inhabituelle par rapport aux startups d'IA typiques, même si les contrôles à l'exportation américains restreignaient l'accès des entreprises chinoises aux puces Nvidia les plus avancées.
Modèles et choc de janvier 2025
DeepSeek a publié une série de modèles à poids ouverts de plus en plus performants, notamment DeepSeek-V2 et V3, avant de publier DeepSeek-R1 en janvier 2025, un modèle de raisonnement entraîné en grande partie avec des techniques de apprentissage par renforcement qui égalait ou approchait les performances de l'OpenAI o1 sur plusieurs suites de bancs d'essai en mathématiques et en codage, tout en étant publié avec des poids ouverts et un article technique décrivant son entraînement. DeepSeek a rapporté des coûts d'entraînement bien inférieurs à ce que l'on croyait que les laboratoires occidentaux comparables dépensaient, bien que les chiffres exacts et leur comparabilité aient été contestés. La publication a déclenché le choc DeepSeek, une forte vente d'actions liées à l'IA, notamment une perte record de capitalisation boursière en une seule journée pour Nvidia, alors que les investisseurs réévaluaient les hypothèses sur la quantité de calcul nécessaire pour atteindre le niveau du modèle de pointe.
Approche technique
Les modèles de DeepSeek ont fait un usage important des architectures mélange d'experts pour améliorer l'efficacité de l'entraînement et de l'inférence, et l'entreprise a publié des détails sur les optimisations d'entraînement, y compris des approches pour réduire la mémoire et les frais de communication, qui ont été largement étudiées par d'autres laboratoires. Le pipeline d'entraînement de DeepSeek-R1 était notable pour démontrer que des gains importants dans le raisonnement de type chaîne de pensée pouvaient émerger de l'apprentissage par renforcement sur des tâches vérifiables sans données RLHF étiquetées par des humains à grande échelle, et l'entreprise a publié des versions distillées plus petites du modèle qui pouvaient fonctionner sur du matériel beaucoup plus modeste, accélérant l'adoption par des développeurs externes via des hôtes tels que Hugging Face.
Réception et contexte géopolitique
L'ascension de DeepSeek a été largement interprétée comme une preuve que les contrôles à l'exportation américains sur les puces avancées n'avaient pas empêché les laboratoires chinois d'atteindre la frontière de l'IA, intensifiant les débats à Washington sur l'efficacité des restrictions matérielles et ajoutant de l'urgence aux discussions sur l'gouvernance de l'IA et la compétition nationale aux côtés de laboratoires tels que le développeur de Qwen, Alibaba. Certains analystes et laboratoires rivaux ont remis en question des aspects des coûts d'entraînement rapportés par DeepSeek et ont soulevé des préoccupations concernant la provenance des données et une éventuelle distillation des sorties de modèles occidentaux fermés, des allégations que DeepSeek n'a pas pleinement abordées publiquement. L'épisode a néanmoins établi DeepSeek, aux côtés de laboratoires tels que Mistral AI, comme une alternative crédible à poids ouverts aux plus grands développeurs américains fermés.