CUDA (Compute Unified Device Architecture) es una plataforma de computación paralela y un modelo de programación creado por Nvidia, lanzado por primera vez en 2006, que permite a los desarrolladores escribir código de propósito general para ejecutarse en GPU de Nvidia en lugar de solo código de renderizado gráfico. Proporcionó a los programadores una forma relativamente accesible de aprovechar los miles de núcleos paralelos de una GPU para cálculos arbitrarios, extendiendo lenguajes como C y C++ con construcciones específicas para GPU.
Historia y propósito
Antes de CUDA, usar una GPU para computación no gráfica requería expresar un problema en términos de operaciones gráficas, como texturas y shaders, una solución alternativa que pocos fuera de la gráfica computacional encontraban práctica. El lanzamiento de CUDA por parte de Nvidia en 2006 eliminó esa barrera, y la plataforma maduró durante la década siguiente mediante su adopción en computación científica, finanzas computacionales y, cada vez más desde principios de la década de 2010, en la investigación de aprendizaje profundo. El éxito de AlexNet en 2012, entrenado usando GPU aceleradas con CUDA, demostró el potencial del aprendizaje profundo e impulsó un aumento en la inversión en investigación basada en entrenamiento con GPU CUDA, consolidando el papel de la plataforma en el campo.
Rol técnico y ecosistema
CUDA proporciona las bibliotecas de bajo nivel, como cuDNN para primitivas de redes neuronales y cuBLAS para álgebra lineal, sobre las que se construyen la mayoría de los marcos de aprendizaje profundo. Tanto PyTorch como TensorFlow, los dos marcos dominantes de aprendizaje profundo, están escritos para ejecutarse eficientemente en CUDA, y la gran mayoría de la investigación publicada en aprendizaje profundo y los sistemas de IA en producción a mediados de la década de 2020 se ejecutan en hardware de Nvidia habilitado para CUDA. Esto creó un foso de software poderoso: migrar una base de código de IA grande desde GPU de Nvidia a hardware de un competidor, como la plataforma ROCm de AMD o el TPU de Google, generalmente requiere un trabajo de ingeniería significativo, porque gran parte de las herramientas, desde código de investigación individual hasta servidores de inferencia en producción, está escrita y optimizada específicamente para CUDA.
Importancia y críticas
A CUDA se le atribuye ampliamente, junto con el propio hardware de GPU, ser un factor decisivo en el dominio de Nvidia del mercado de hardware de IA durante el auge de la IA de la década de 2020, ya que es difícil para los competidores desbancar la posición de Nvidia solo igualando el rendimiento del hardware, dado cuánto del ecosistema de software, desde bibliotecas de investigación hasta marcos de entrenamiento de modelos de lenguaje grandes, asume que CUDA está disponible. Los críticos de esta dinámica, incluidos fabricantes de chips competidores y algunos laboratorios de IA, han descrito CUDA como un mecanismo de bloqueo propietario que aumenta los costos y limita las opciones de hardware en toda la industria, y han respaldado alternativas abiertas como el lenguaje Triton de OpenAI, destinado a facilitar la escritura de código de GPU portable entre proveedores. A pesar de estos esfuerzos, a partir de 2025 CUDA seguía siendo el supuesto predeterminado subyacente a la mayor parte del software de aprendizaje profundo, desde código de investigación académica hasta la infraestructura que ejecuta modelos fundacionales de frontera.