DeepSeek-V2 es un modelo de lenguaje de gran tamaño publicado por la empresa china de inteligencia artificial DeepSeek en mayo de 2024. Emplea una arquitectura de Mezcla de Expertos (MoE), que activa solo un subconjunto de sus parámetros para cada entrada, lo que permite un cálculo eficiente y costos de entrenamiento reducidos. El modelo se posicionó como una alternativa de alto rendimiento a los modelos contemporáneos de desarrolladores occidentales, con un costo de entrenamiento reportado significativamente menor que el de sistemas comparables.
La publicación de DeepSeek-V2 ocurrió durante un período de rápido avance en los modelos de lenguaje de gran tamaño, cuando desarrolladores como OpenAI, Anthropic y Google DeepMind también publicaban nuevos sistemas. El enfoque de DeepSeek difería en su énfasis en pesos abiertos y eficiencia de costos, alineándose con la estrategia más amplia de la empresa de maximizar la eficiencia algorítmica bajo restricciones de hardware.
Arquitectura y Diseño
DeepSeek-V2 se basa en una arquitectura Transformer, el marco dominante para los sistemas modernos de IA generativa. Su característica definitoria es el diseño de Mezcla de Expertos, que divide los parámetros del modelo en múltiples módulos expertos. Durante la inferencia, un mecanismo de selección elige solo un pequeño número de expertos para cada token, reduciendo la carga computacional mientras se mantiene un gran número total de parámetros.
El modelo incorpora innovaciones en atención de múltiples cabezas y codificación posicional para mejorar la eficiencia. Específicamente, DeepSeek-V2 introdujo un mecanismo de atención novedoso que reduce la huella de memoria de las cachés de clave-valor, un cuello de botella común en tareas de contexto largo. Esta elección de diseño permite que el modelo maneje secuencias más largas sin aumentar proporcionalmente los requisitos de hardware.
En comparación con modelos densos de tamaño de parámetros similar, DeepSeek-V2 requiere menos operaciones de punto flotante por token durante el entrenamiento y la inferencia. La empresa reportó que el modelo logró un rendimiento competitivo con los sistemas líderes mientras usaba sustancialmente menos cómputo, un resultado atribuido a la arquitectura MoE y a una ingeniería cuidadosa del pipeline de entrenamiento.
Entrenamiento y Costo
DeepSeek-V2 se entrenó en el clúster de cómputo Fire-Flyer 2, un sistema personalizado operado por la empresa matriz de DeepSeek, High-Flyer. El clúster consiste en miles de GPUs Nvidia interconectadas a alto ancho de banda, con una pila de software co-diseñada que incluye el sistema de archivos distribuido 3FS y bibliotecas de comunicación personalizadas. Esta infraestructura se desarrolló para maximizar la eficiencia en el hardware disponible, particularmente a la luz de las restricciones de exportación de Estados Unidos sobre chips avanzados a China.
La ejecución de entrenamiento para DeepSeek-V2 usó un conjunto de datos de billones de tokens extraídos de fuentes web públicas, libros y otros corpus de texto. La empresa no reveló la composición exacta del conjunto de datos, consistente con su práctica de mantener los datos de entrenamiento propietarios incluso mientras publica los pesos del modelo. El costo de entrenamiento reportado fue de aproximadamente 5.6 millones de dólares, una cifra que llamó la atención por ser un orden de magnitud menor que las estimaciones para modelos comparables de laboratorios occidentales.
Esta eficiencia de costos se logró mediante una combinación de mejoras algorítmicas, optimización de hardware y los requisitos computacionales reducidos de la arquitectura MoE. Los ingenieros de DeepSeek también emplearon técnicas como recorte de gradiente y programación de tasa de aprendizaje para estabilizar el entrenamiento y mejorar la convergencia.
Rendimiento y Puntos de Referencia
DeepSeek-V2 se evaluó en una variedad de puntos de referencia estándar para tareas de procesamiento de lenguaje natural, incluyendo comprensión del lenguaje, razonamiento y generación de código. En varias pruebas ampliamente utilizadas, como MMLU (Comprensión de Lenguaje Multitarea Masiva) y HumanEval, el modelo logró puntuaciones comparables o superiores a las de modelos contemporáneos de pesos abiertos de otros desarrolladores.
El rendimiento del modelo fue particularmente notable en razonamiento matemático y tareas en chino, reflejando la composición de sus datos de entrenamiento y el enfoque de la empresa en servir tanto a usuarios domésticos como internacionales. En comparaciones lado a lado, DeepSeek-V2 superó a varios modelos densos más grandes, demostrando que el enfoque MoE podía ofrecer resultados sólidos con menos parámetros activos.
Evaluaciones independientes por investigadores de terceros generalmente confirmaron las afirmaciones de la empresa, aunque algunos notaron que el rendimiento del modelo en ciertos puntos de referencia variaba según la configuración exacta de evaluación. La publicación también incluyó variantes más pequeñas del modelo, permitiendo el despliegue en hardware menos potente mientras se retenía gran parte de la capacidad del modelo completo.
Publicación y Recepción
La publicación pública de DeepSeek-V2 en mayo de 2024 incluyó tanto los pesos del modelo como documentación técnica que describe su arquitectura y metodología de entrenamiento. Este enfoque de pesos abiertos lo distinguió de los modelos propietarios ofrecidos solo a través de acceso por API, permitiendo a investigadores y desarrolladores descargar, ajustar y desplegar el modelo en su propia infraestructura.
La recepción en la comunidad de aprendizaje automático fue ampliamente positiva, con muchos elogiando las innovaciones técnicas y la transparencia de la publicación. El bajo costo de entrenamiento se convirtió en un punto focal de discusión, planteando preguntas sobre si otros desarrolladores podrían lograr ganancias de eficiencia similares. Algunos comentaristas interpretaron la publicación como evidencia de que el desarrollo avanzado de IA ya no era dominio exclusivo de empresas occidentales bien financiadas.
Sin embargo, la publicación también generó preocupaciones sobre el potencial de uso indebido, dado los pesos abiertos y la ausencia de filtros de seguridad integrados en comparación con algunas ofertas comerciales. Los vínculos de DeepSeek con China y las afiliaciones militares previas de algunos investigadores fueron señalados en la cobertura, aunque la empresa misma enfatizó su enfoque en la investigación más que en aplicaciones militares.
Comparación con Modelos Contemporáneos
En el momento de su publicación, DeepSeek-V2 se comparaba frecuentemente con modelos como Llama 3 de Meta y Mixtral de Mistral, que también usaban enfoques de pesos abiertos o código abierto. En términos de puntuaciones brutas de puntos de referencia, DeepSeek-V2 era competitivo con estos sistemas, mientras que su costo de entrenamiento era significativamente menor que las cifras reportadas públicamente para modelos comparables.
El modelo también atrajo comparaciones con sistemas propietarios de OpenAI y Anthropic, aunque las comparaciones directas se complicaron por diferencias en la metodología de evaluación y la naturaleza cerrada de esos sistemas. La decisión de DeepSeek de publicar informes técnicos detallados permitió un análisis más exhaustivo que el posible con modelos solo por API.
Una diferencia notable fue el rendimiento de DeepSeek-V2 en tareas en chino, donde a menudo superaba a modelos entrenados principalmente con datos en inglés. Esto lo hizo particularmente atractivo para aplicaciones en mercados de habla china, incluyendo casos de uso empresarial en finanzas, educación y gobierno.
Impacto y Legado
DeepSeek-V2 estableció a la empresa como un actor significativo en el panorama global de IA, demostrando que técnicas de entrenamiento eficientes podían producir resultados de vanguardia. El éxito del modelo influyó en desarrollos posteriores en el campo, incluyendo un mayor interés en arquitecturas de Mezcla de Expertos y métodos de entrenamiento conscientes de costos.
La publicación también tuvo implicaciones geopolíticas, destacando la capacidad de las empresas chinas para desarrollar sistemas avanzados de IA a pesar de los controles de exportación sobre hardware de alta gama. El enfoque de DeepSeek en la eficiencia algorítmica, nacido en parte de la necesidad, se convirtió en un modelo para otros desarrolladores que enfrentan restricciones similares.
En los meses posteriores a la publicación, DeepSeek continuó iterando sobre su tecnología, eventualmente publicando modelos sucesores con mejoras adicionales. Los principios establecidos con DeepSeek-V2 - pesos abiertos, eficiencia de costos e innovación arquitectónica - permanecieron centrales en el enfoque de la empresa en publicaciones posteriores.
Especificaciones Técnicas
El número total de parámetros de DeepSeek-V2 se reportó en 236 mil millones, con solo 21 mil millones de parámetros activos por token debido a la arquitectura MoE. El modelo usaba una ventana de contexto de 128,000 tokens, habilitada por el mecanismo de atención eficiente que reducía el uso de memoria. El entrenamiento se realizó usando precisión mixta, combinando formatos BF16 y FP32 para equilibrar precisión y velocidad.
El tokenizador del modelo se entrenó en un corpus multilingüe, con atención particular al texto en chino e inglés. La publicación incluyó pesos en múltiples formatos, compatibles con marcos de inferencia populares como vLLM y TensorRT. También se pusieron a disposición versiones más pequeñas del modelo, con menos parámetros totales, para el despliegue en hardware menos potente.
La arquitectura de DeepSeek-V2 sirvió como base para modelos posteriores en la línea de la empresa, con publicaciones posteriores construyendo sobre sus innovaciones mientras incorporaban técnicas adicionales como aprendizaje por refuerzo con retroalimentación humana. El modelo sigue disponible para descarga, y su documentación técnica continúa siendo citada en investigación académica sobre entrenamiento eficiente de modelos de lenguaje.