HKChat es un modelo de lenguaje de gran tamaño (LLM) desarrollado por una iniciativa de investigación colaborativa con sede en Hong Kong. Lanzado en 2024, fue diseñado para abordar la subrepresentación del cantonés y el inglés de Hong Kong en los sistemas de IA generativa convencionales. El modelo se basa en una arquitectura de transformador, aprovechando técnicas de aprendizaje profundo para procesar y generar texto con un enfoque en los matices lingüísticos regionales, incluidas expresiones coloquiales y patrones de mezcla de códigos comunes en Hong Kong.
HKChat fue entrenado con un conjunto de datos curado de aproximadamente 120 mil millones de tokens, combinando corpus web públicos, foros en cantonés, subtítulos y artículos de noticias de fuentes locales. El proceso de entrenamiento empleó un enfoque de dos etapas: preentrenamiento inicial en un corpus multilingüe diverso, seguido de un ajuste fino supervisado en datos específicos de tareas, como diálogo y respuesta a preguntas. El modelo tiene 13 mil millones de parámetros, lo que lo convierte en un LLM de tamaño mediano adecuado para su implementación en hardware modesto, incluidas GPU de grado de consumo.
Desarrollo y Arquitectura
El desarrollo de HKChat comenzó a principios de 2023, liderado por investigadores de varias universidades de Hong Kong y respaldado por incubadoras tecnológicas locales. El proyecto tenía como objetivo crear una alternativa de código abierto a los modelos propietarios más grandes, que a menudo funcionan mal en cantonés debido a los datos de entrenamiento limitados. La arquitectura sigue un transformador estándar de solo decodificador, incorporando atención de múltiples cabezas y codificación posicional. Las decisiones de diseño clave incluyen un tamaño de vocabulario de 50,000 tokens, optimizado para caracteres chinos y romanización fonética cantonesa, y una ventana de contexto de 4,096 tokens.
El entrenamiento utilizó un clúster de 64 GPU NVIDIA A100, proporcionado a través de una asociación con un proveedor regional de servicios en la nube. El equipo empleó técnicas como recorte de gradiente y programación de tasa de aprendizaje para estabilizar el entrenamiento, que duró aproximadamente 45 días. Para mitigar el sobreajuste, aplicaron estrategias de abandono e inicialización de pesos, y utilizaron aumento de datos para expandir las limitadas fuentes de texto en cantonés.
Capacidades y Puntos de Referencia
HKChat demuestra un rendimiento sólido en varios puntos de referencia adaptados a sus idiomas objetivo. En el conjunto de datos CantoneseQA, una colección de 10,000 preguntas que cubren cultura local, historia y vida diaria, HKChat logró una precisión del 78.4%, superando a modelos comparables como una línea base multilingüe de 7 mil millones de parámetros por 12 puntos. En tareas en inglés, obtiene puntuaciones competitivas en puntos de referencia estándar como MMLU (Comprensión de Lenguaje Multitarea Masiva), alcanzando un 62.1%, que está por debajo de modelos más grandes pero es respetable para su tamaño.
El modelo sobresale en texto con mezcla de códigos, donde el cantonés y el inglés se intercalan, un fenómeno común en la comunicación en línea de Hong Kong. En una evaluación humana que involucró a 50 hablantes nativos, HKChat fue calificado como más natural y contextualmente apropiado que dos modelos comerciales líderes en el 67% de los casos de prueba. Sin embargo, tiene dificultades con el chino escrito formal y jerga técnica rara, lo que refleja su enfoque regional.
Lanzamiento y Accesibilidad
HKChat fue lanzado bajo una licencia de código abierto en noviembre de 2024, con los pesos del modelo y el código de inferencia disponibles en un repositorio público. El lanzamiento incluyó una versión ligera, HKChat-Lite, con 2 mil millones de parámetros, optimizada para dispositivos móviles. El proyecto también publicó un informe técnico detallado, documentando las fuentes de datos de entrenamiento y la metodología de evaluación, para fomentar la reproducibilidad.
Desde su lanzamiento, HKChat ha sido descargado más de 50,000 veces, con adopción entre startups locales e investigadores académicos. Se ha integrado en varias herramientas educativas para el aprendizaje del idioma cantonés y se ha utilizado en estudios preliminares sobre análisis de sentimientos en redes sociales de Hong Kong. Los desarrolladores mantienen un foro comunitario activo, donde los usuarios contribuyen a conjuntos de datos de ajuste fino e informan problemas de rendimiento.
Limitaciones y Trabajo Futuro
A pesar de sus fortalezas, HKChat tiene limitaciones notables. Sus datos de entrenamiento, aunque sustanciales, son más pequeños que los de los modelos globales líderes, lo que resulta en un rendimiento más débil en tareas de conocimiento general y razonamiento. El modelo también puede exhibir sesgos presentes en sus corpus fuente, particularmente en temas políticos, lo que el equipo ha reconocido y ha intentado mitigar mediante técnicas de filtrado y alineación.
Los planes futuros incluyen expandir el conjunto de datos de entrenamiento a 300 mil millones de tokens, incorporando fuentes más diversas como podcasts y publicaciones gubernamentales. El equipo también está explorando el aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) para mejorar la calidad y seguridad de las respuestas. Un modelo sucesor, programado tentativamente para 2025, tiene como objetivo aumentar el número de parámetros a 30 mil millones y extender la ventana de contexto a 8,192 tokens, manteniendo el enfoque regional que define a HKChat.
Proyectos Relacionados
HKChat es parte de un movimiento más amplio para desarrollar LLM específicos de región, similar a esfuerzos como Alibaba Damiao Academy para dialectos chinos y AI21 Labs para hebreo y árabe. Comparte fundamentos técnicos con la investigación de modelos de lenguaje de gran tamaño, basándose en avances en arquitecturas de transformador y aprendizaje profundo. El proyecto también colabora con investigadores de la Universidad de Toronto en aprendizaje de transferencia interlingüística, con el objetivo de mejorar el rendimiento en idiomas de bajos recursos más allá del cantonés.