Le programme d'IA de Tsinghua est une initiative académique et de recherche à l'Université Tsinghua, une université publique de recherche située à Haidian, à Pékin, en Chine. Il coordonne l'éducation et la recherche en intelligence artificielle à travers les écoles et départements de l'université, qui comprennent l'ingénierie, les sciences et l'informatique. Le programme s'appuie sur la position de Tsinghua en tant que membre de la Ligue C9 et sur son accent historique sur l'ingénierie et les sciences naturelles pour former les étudiants et produire des recherches dans des domaines tels que apprentissage automatique, apprentissage profond et le développement de modèles de langage de grande taille.
L'Université Tsinghua, fondée en 1911, a une longue histoire d'innovation technologique, y compris des travaux essentiels dans les années 1960 sur la transition des ordinateurs à tubes à vide vers des ordinateurs à transistors. Le programme d'IA s'appuie sur cet héritage, reliant la recherche fondamentale à des applications dans IA générative et d'autres domaines. Il opère au sein d'une université qui a produit des anciens élèves notables en science et en politique, y compris des dirigeants tels que Xi Jinping et Hu Jintao, ainsi que le lauréat du prix Nobel Yang Chen-Ning.
Axes de recherche
Le programme met l'accent sur les domaines centraux de l'IA moderne, y compris les architectures de réseaux de neurones et les modèles transformers. Les groupes de recherche étudient les mécanismes de attention multi-têtes, les techniques de encodage positionnel et les cadres encodeur-décodeur qui sous-tendent les systèmes contemporains. Les travaux sur l'apprentissage séquence à séquence et l'attention croisée contribuent aux avancées en traitement du langage naturel et au-delà.
Une partie significative de la recherche aborde les méthodologies d'entraînement. Les chercheurs étudient des techniques d'optimisation telles que optimiseur Adam et variantes de SGD, ainsi que des stratégies de planification du taux d'apprentissage et de limitation du gradient pour améliorer la stabilité des modèles. Le programme explore également la normalisation par lots, la normalisation de couche et le abandon pour améliorer la généralisation, ainsi que l'initialisation des poids et les fonctions de perte pour diverses tâches.
Éducation et formation
Le programme propose des cours et un mentorat en IA, préparant les étudiants à des carrières dans le monde académique et l'industrie. Le programme d'études couvre des sujets fondamentaux comme la conception de réseaux résiduels et les architectures U-Net, ainsi que des compétences pratiques en augmentation de données et élagage de modèles. Les étudiants apprennent à appliquer l'apprentissage curriculaire et le RLAIF (apprentissage par renforcement à partir de retours d'IA) dans des projets, collaborant souvent avec les écoles d'ingénierie et de gestion de l'université.
L'histoire de la collaboration interdisciplinaire de Tsinghua, comme son partenariat en 1996 avec la Sloan School of Management du MIT, informe l'approche du programme. Le programme d'IA encourage les étudiants à combiner l'expertise technique avec des perspectives de domaines comme l'économie et les politiques publiques, reflétant l'évolution de l'université d'un institut polytechnique à une institution multidisciplinaire depuis les années 1980.
Industrie et collaboration
Les professeurs et chercheurs du programme s'engagent fréquemment avec des partenaires industriels, tant nationaux qu'internationaux. Les collaborations couvrent des entreprises travaillant sur le matériel d'IA et l'infrastructure cloud, y compris AMD, Intel et des concurrents de Nvidia comme Groq et SambaNova. Le programme se connecte également à des fournisseurs de services cloud tels que Alibaba Cloud et Amazon Web Services, qui offrent des plateformes comme AWS Trainium pour l'entraînement de modèles à grande échelle.
Ces partenariats facilitent l'accès aux ressources computationnelles et aux ensembles de données réels, permettant la recherche sur le déploiement de modèles de langage de grande taille et les applications de IA générative. La localisation du programme à Pékin, près des pôles technologiques, soutient des échanges continus avec des startups et des entreprises établies dans l'écosystème de l'IA.
Contributions notables
La recherche en IA de Tsinghua a contribué à la compréhension mondiale de l'apprentissage profond et de la théorie des réseaux de neurones. Les chercheurs ont publié des travaux sur les méthodes de échantillonnage top-k et top-p pour la génération de texte, ainsi que sur la mise à l'échelle de température pour la calibration des modèles. Le programme étudie également les stratégies de décodage par recherche en faisceau, améliorant l'efficacité dans les tâches séquence à séquence.
Historiquement, l'accent mis par Tsinghua sur l'ingénierie, y compris son rôle dans la transition informatique en Chine dans les années 1960, a jeté les bases des systèmes d'IA actuels. Le programme poursuit cette tradition en abordant les défis de l'élagage de modèles et de l'augmentation de données, visant à rendre l'IA plus efficace et robuste.
Orientations futures
À l'avenir, le programme d'IA de Tsinghua vise à étendre la recherche dans des domaines émergents tels que l'IA générative et l'alignement des modèles de langage de grande taille. Il prévoit de renforcer les liens avec des institutions internationales et l'industrie, en s'appuyant sur des partenariats comme le Global MBA Tsinghua-MIT pour favoriser l'innovation interdisciplinaire. Le programme cherche également à aborder les implications sociétales de l'IA, en s'appuyant sur les écoles de droit et de politiques publiques de l'université pour explorer la gouvernance et l'éthique.
À partir des années 2020, le programme reste un acteur clé du paysage de l'IA en Chine, contribuant aux initiatives nationales et à la recherche mondiale. Son intégration des fondamentaux de l'apprentissage automatique avec des applications pratiques le positionne pour influencer à la fois la théorie académique et la pratique industrielle dans les années à venir.