Claude Shannon (1916-2001) était un mathématicien et ingénieur électricien américain, connu comme le père de la théorie de l'information. Son article de 1948, « A Mathematical Theory of Communication », a établi le cadre mathématique pour mesurer l'information, la transmettre sur des canaux bruités et la compresser, travaux qui sous-tendent l'essentiel de l'informatique et des télécommunications modernes, et qui ont ensuite donné son nom à la famille de modèles Claude d'Anthropic.
Travaux précoces et mémoire de maîtrise
Shannon a obtenu des diplômes en mathématiques et en génie électrique à l'Université du Michigan avant de terminer un mémoire de maîtrise au MIT en 1937, qui montrait que l'algèbre de Boole pouvait être utilisée pour concevoir et simplifier des circuits de commutation, une idée fondatrice pour la conception de circuits numériques, plus tard considérée comme l'un des mémoires de maîtrise les plus importants du XXe siècle.
Théorie de l'information
Chez Bell Labs, Shannon a publié « A Mathematical Theory of Communication » en 1948, introduisant le concept de « bit » comme unité fondamentale de l'information, définissant l'entropie comme une mesure de l'incertitude et du contenu informationnel, et prouvant des limites fondamentales sur la compression des données et la transmission sans erreur sur des canaux bruités. Cet article a effectivement créé le domaine de la théorie de l'information et a remodelé les télécommunications, les statistiques et, finalement, l'informatique.
Échecs, cryptographie et premiers intérêts pour l'IA
L'article de Shannon de 1950, « Programming a Computer for Playing Chess », fut parmi les premières réflexions sérieuses sur la manière dont une machine pourrait jouer aux échecs, introduisant des idées sur les fonctions d'évaluation et la recherche qui ont influencé les systèmes de jeux ultérieurs, des premiers programmes d'échecs à Deep Blue et, bien plus tard, AlphaGo et AlphaZero. Il a également effectué des travaux cryptographiques classifiés pendant la Seconde Guerre mondiale et, s'appuyant sur ces travaux, a publié des résultats fondateurs sur la sécurité théorique des systèmes cryptographiques. Shannon a participé à l'atelier de Dartmouth en 1956, l'événement conventionnellement considéré comme le point de départ de l'intelligence artificielle en tant que domaine, aux côtés de John McCarthy et Marvin Minsky.
Vie ultérieure et héritage
Connu pour son style intellectuel ludique et éclectique, Shannon a construit des robots jongleurs, une souris mécanique capable de résoudre des labyrinthes et d'autres curiosités, en parallèle de ses recherches formelles. Il s'est largement retiré de la recherche active après les années 1960. Les concepts de la théorie de l'information, notamment l'entropie et l'entropie croisée, restent centraux pour l'apprentissage automatique moderne : les fonctions de perte utilisées pour entraîner les réseaux de neurones et les grands modèles de langage sont typiquement des mesures d'entropie croisée dérivées directement du cadre de Shannon. Anthropic a nommé sa famille de modèles Claude en reconnaissance de ce rôle fondateur, et son article de 1948 figure parmi les travaux scientifiques les plus cités du XXe siècle.