HKChat est un modèle de langage de grande taille (LLM) développé par une initiative de recherche collaborative basée à Hong Kong. Publié en 2024, il a été conçu pour remédier à la sous-représentation du cantonais et de l'anglais de Hong Kong dans les systèmes d'IA générative grand public. Le modèle repose sur une architecture de transformeur, exploitant des techniques d'apprentissage profond pour traiter et générer du texte en mettant l'accent sur les nuances linguistiques régionales, y compris les expressions familières et les modèles de mélange de codes courants à Hong Kong.
HKChat a été entraîné sur un ensemble de données organisé d'environ 120 milliards de jetons, combinant des corpus web publics, des forums en cantonais, des sous-titres et des articles de presse locaux. Le processus d'entraînement a employé une approche en deux étapes : un pré-entraînement initial sur un corpus multilingue diversifié, suivi d'un affinage supervisé sur des données spécifiques aux tâches, telles que le dialogue et la réponse aux questions. Le modèle possède 13 milliards de paramètres, ce qui en fait un LLM de taille moyenne adapté au déploiement sur du matériel modeste, y compris des GPU de qualité grand public.
Développement et architecture
Le développement de HKChat a commencé début 2023, dirigé par des chercheurs de plusieurs universités de Hong Kong et soutenu par des incubateurs technologiques locaux. Le projet visait à créer une alternative open source aux modèles propriétaires plus grands, qui performent souvent mal en cantonais en raison de données d'entraînement limitées. L'architecture suit un transformeur standard à décodeur seul, intégrant une attention multi-têtes et un encodage positionnel. Les choix de conception clés incluent une taille de vocabulaire de 50 000 jetons, optimisée pour les caractères chinois et la romanisation phonétique cantonaise, et une fenêtre de contexte de 4 096 jetons.
L'entraînement a utilisé un cluster de 64 GPU NVIDIA A100, fourni grâce à un partenariat avec un fournisseur de services cloud régional. L'équipe a employé des techniques telles que le clipping de gradient et la planification du taux d'apprentissage pour stabiliser l'entraînement, qui a duré environ 45 jours. Pour atténuer le surapprentissage, ils ont appliqué des stratégies d'abandon et d'initialisation des poids, et utilisé l'augmentation de données pour étendre les sources textuelles cantonaises limitées.
Capacités et références
HKChat démontre de bonnes performances sur plusieurs références adaptées à ses langues cibles. Sur l'ensemble de données CantoneseQA, une collection de 10 000 questions couvrant la culture locale, l'histoire et la vie quotidienne, HKChat a atteint une précision de 78,4 %, surpassant des modèles comparables comme une référence multilingue de 7 milliards de paramètres de 12 points. Dans les tâches en anglais, il obtient des scores compétitifs sur des références standard telles que MMLU (Massive Multitask Language Understanding), atteignant 62,1 %, ce qui est inférieur aux modèles plus grands mais respectable pour sa taille.
Le modèle excelle dans le texte à mélange de codes, où le cantonais et l'anglais sont entrelacés, un phénomène courant dans la communication en ligne à Hong Kong. Dans une évaluation humaine impliquant 50 locuteurs natifs, HKChat a été jugé plus naturel et contextuellement approprié que deux modèles commerciaux de premier plan dans 67 % des cas de test. Cependant, il a des difficultés avec le chinois écrit formel et le jargon technique rare, reflétant son orientation régionale.
Publication et accessibilité
HKChat a été publié sous une licence open source en novembre 2024, avec les poids du modèle et le code d'inférence disponibles sur un dépôt public. La publication incluait une version légère, HKChat-Lite, avec 2 milliards de paramètres, optimisée pour les appareils mobiles. Le projet a également publié un rapport technique détaillé, documentant les sources de données d'entraînement et la méthodologie d'évaluation, pour encourager la reproductibilité.
Depuis sa publication, HKChat a été téléchargé plus de 50 000 fois, avec une adoption parmi les startups locales et les chercheurs académiques. Il a été intégré dans plusieurs outils éducatifs pour l'apprentissage du cantonais et utilisé dans des études préliminaires sur l'analyse des sentiments des médias sociaux de Hong Kong. Les développeurs maintiennent un forum communautaire actif, où les utilisateurs contribuent aux ensembles de données d'affinage et signalent des problèmes de performance.
Limites et travaux futurs
Malgré ses forces, HKChat présente des limites notables. Ses données d'entraînement, bien que substantielles, sont plus petites que celles des modèles mondiaux de premier plan, ce qui entraîne des performances plus faibles sur les tâches de connaissances générales et de raisonnement. Le modèle peut également présenter des biais présents dans ses corpus sources, en particulier concernant les sujets politiques, ce que l'équipe a reconnu et tenté d'atténuer par des techniques de filtrage et d'alignement.
Les plans futurs incluent l'expansion de l'ensemble de données d'entraînement à 300 milliards de jetons, en incorporant des sources plus diverses telles que des podcasts et des publications gouvernementales. L'équipe explore également l'apprentissage par renforcement à partir de retours humains (RLHF) pour améliorer la qualité et la sécurité des réponses. Un modèle successeur, provisoirement prévu pour 2025, vise à augmenter le nombre de paramètres à 30 milliards et à étendre la fenêtre de contexte à 8 192 jetons, tout en maintenant l'orientation régionale qui définit HKChat.
Projets connexes
HKChat fait partie d'un mouvement plus large visant à développer des LLM spécifiques à une région, similaire aux efforts comme académie Alibaba Damiao pour les dialectes chinois et AI21 Labs pour l'hébreu et l'arabe. Il partage des fondations techniques avec la recherche sur les modèles de langage de grande taille, s'appuyant sur les avancées dans les architectures de transformeur et l'apprentissage profond. Le projet collabore également avec des chercheurs de l'Université de Toronto sur l'apprentissage par transfert interlingue, visant à améliorer les performances sur les langues à faibles ressources au-delà du cantonais.