CPM-2 es un modelo de lenguaje preentrenado a gran escala desarrollado por la Academia de Inteligencia Artificial de Pekín (BAAI). Publicado en 2021, es el sucesor de CPM-1 y destaca por sus 198 mil millones de parámetros, lo que lo convierte en uno de los modelos de lengua china más grandes de su época. CPM-2 está diseñado para manejar una amplia gama de tareas de procesamiento de lenguaje natural, incluyendo generación de texto, comprensión y diálogo, con un enfoque en el idioma chino.
A diferencia de muchos modelos que dependen únicamente de una arquitectura única, CPM-2 emplea un enfoque de mezcla de expertos (MoE) dentro de un marco transformador. Este diseño permite que el modelo active solo un subconjunto de sus parámetros para cada entrada, mejorando la eficiencia computacional mientras mantiene un alto rendimiento. El modelo fue entrenado con un corpus diverso de texto chino, que incluye páginas web, libros y otras fuentes, y demostró resultados sólidos en puntos de referencia como CLUE (Evaluación de Comprensión del Lenguaje Chino).
Arquitectura y Entrenamiento
CPM-2 se basa en una arquitectura transformadora, utilizando específicamente una estructura solo de decodificador para tareas generativas. Sus 198 mil millones de parámetros están organizados en múltiples capas de expertos, donde cada token se enruta a un pequeño número de expertos, reduciendo el costo computacional efectivo por inferencia. El modelo utiliza un vocabulario de unidades de subpalabras chinas e incorpora técnicas como codificación posicional y normalización de capas para estabilizar el entrenamiento.
El proceso de entrenamiento implicó un enfoque de dos etapas: primero, una fase de preentrenamiento denso en un corpus grande, seguida de una fase de ajuste fino disperso utilizando la estructura MoE. Este método permitió a BAAI escalar el modelo más allá de lo que sería factible con una arquitectura densa por sí sola. Los datos de entrenamiento comprendieron más de 200 gigabytes de texto chino, y el modelo se entrenó en un clúster de GPU, aunque los detalles específicos del hardware no se divulgan públicamente.
Capacidades y Aplicaciones
CPM-2 sobresale en diversas tareas de modelos de lenguaje a gran escala, incluyendo completado de texto, resumen, respuesta a preguntas y generación de diálogo. En evaluaciones, logró resultados de vanguardia en varios puntos de referencia chinos, como la tabla de clasificación CLUE, superando a modelos anteriores como GPT-3 en ciertas tareas específicas del chino. La capacidad del modelo para manejar contextos largos y generar texto coherente y contextualmente relevante lo hizo adecuado para aplicaciones en creación de contenido, servicio al cliente y herramientas educativas.
Una característica notable es su capacidad bilingüe, ya que CPM-2 también puede procesar texto en inglés, aunque su enfoque principal es el chino. Esta versatilidad proviene de la inclusión de datos en inglés en su corpus de entrenamiento, lo que permite la transferencia entre idiomas. El modelo está disponible en dos versiones: una versión completa de 198 mil millones de parámetros y una versión más pequeña de 11 mil millones de parámetros, siendo esta última más accesible para investigación y despliegue.
Impacto y Recepción
CPM-2 se publicó como un modelo de código abierto, con sus pesos y código disponibles para la comunidad investigadora. Esta apertura contribuyó a su adopción en entornos académicos e industriales, particularmente en China, donde sirvió como base para un mayor ajuste fino en tareas específicas de dominio. La publicación del modelo también provocó discusiones sobre los costos ambientales y computacionales de entrenar modelos grandes, así como la necesidad de métodos de inferencia eficientes.
En comparación con modelos contemporáneos como el GPT-3 de OpenAI, CPM-2 demostró que se podía lograr un rendimiento competitivo con un enfoque en un idioma específico y con una arquitectura MoE más eficiente. Su éxito fomentó una mayor investigación en modelos dispersos y contribuyó al desarrollo de modelos posteriores en la serie CPM, como CPM-3.
Limitaciones y Consideraciones Éticas
Como otros modelos de lenguaje grandes, CPM-2 tiene limitaciones, incluidos posibles sesgos en sus datos de entrenamiento, que pueden llevar a resultados sesgados. También puede producir respuestas incorrectas o sin sentido, especialmente en temas especializados. El gran tamaño del modelo plantea desafíos para su despliegue, requiriendo recursos computacionales significativos para la inferencia, lo que limita su uso en entornos con recursos restringidos.
BAAI ha reconocido estos problemas y recomienda una evaluación cuidadosa antes de desplegar el modelo en aplicaciones sensibles. La organización también enfatiza el uso responsable, alentando a los investigadores a considerar las implicaciones éticas del contenido generado. A partir de 2024, CPM-2 sigue siendo un punto de referencia en el desarrollo de IA en lengua china, aunque ha sido superado por modelos más avanzados con recuentos de parámetros aún mayores y capacidades mejoradas.
Legado y Direcciones Futuras
La publicación de CPM-2 marcó un hito en el campo de la inteligencia artificial, particularmente para modelos de idiomas no ingleses. Demostró que el preentrenamiento a gran escala podía aplicarse efectivamente a idiomas distintos del inglés, allanando el camino para esfuerzos similares en otros idiomas. La arquitectura MoE utilizada en CPM-2 ha influido en diseños de modelos posteriores, incluidos los de la Academia Damiao de Alibaba y otras instituciones de investigación de IA chinas.
Las iteraciones futuras de la serie CPM se han basado en los cimientos de CPM-2, incorporando técnicas más nuevas como el aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) y métodos de entrenamiento más eficientes. El legado de CPM-2 reside en su demostración de desarrollo de IA escalable y de código abierto fuera del ecosistema tecnológico occidental, contribuyendo a un panorama global de IA más diverso.