PyTorch es un aprendizaje profundo de código abierto que proporciona herramientas para construir, entrenar y desplegar redes neuronales, conocido por su diseño centrado en Python y su grafo de computación dinámico, definido en tiempo de ejecución. Desarrollado originalmente por Facebook AI Research, y posteriormente por Meta AI, se lanzó por primera vez en septiembre de 2016 y se convirtió, a principios y mediados de la década de 2020, en el marco dominante utilizado en la investigación de IA.
Historia
PyTorch surgió de Torch, un marco de computación científica anterior construido sobre el lenguaje de programación Lua, y fue reescrito con una interfaz de Python para encajar de manera más natural en el ecosistema de ciencia de datos centrado en Python que los investigadores ya utilizaban. Sus decisiones de diseño tempranas, especialmente su grafo de computación dinámico, que construye la estructura de la red sobre la marcha a medida que el código se ejecuta en lugar de requerir que se defina y compile de antemano, hicieron que depurar y experimentar con arquitecturas novedosas fuera sustancialmente más fácil que con el enfoque de grafo estático utilizado por el TensorFlow temprano. Esta amabilidad para el desarrollador impulsó una rápida adopción en la investigación académica: a principios de la década de 2020, la gran mayoría de los artículos en las principales conferencias de aprendizaje automático utilizaban PyTorch. En septiembre de 2022, Meta transfirió la gobernanza de PyTorch a la recién formada Fundación PyTorch bajo la Fundación Linux, lo que refleja su estatus como infraestructura crítica de código abierto utilizada en toda la industria, en lugar de una herramienta interna de una sola empresa.
Diseño y ecosistema
PyTorch representa los datos como tensores, matrices multidimensionales similares a las de NumPy, y proporciona diferenciación automática para calcular gradientes para la optimización basada en descenso de gradiente de manera automática. Se ejecuta eficientemente tanto en CPUs como, a través de CUDA, en Nvidia GPUs, y se ha extendido con herramientas para entrenamiento distribuido en muchas GPUs, compilación de modelos para rendimiento y despliegue móvil y en el borde. Un gran ecosistema de bibliotecas construidas sobre PyTorch, incluida la biblioteca Transformers de Hugging Face, lo ha convertido en el sustrato predeterminado para entrenar y ajustar modelos basados en transformers, incluida la mayoría de los grandes modelos de lenguaje de peso abierto más importantes lanzados en la década de 2020.
Comparación con TensorFlow y significado
El principal rival histórico de PyTorch es TensorFlow de Google, lanzado un año antes, en 2015; la competencia entre los dos marcos moldeó gran parte de las herramientas de aprendizaje profundo a fines de la década de 2010, con TensorFlow inicialmente favorecido para el despliegue en producción y PyTorch para la flexibilidad en la investigación. TensorFlow adoptó posteriormente la ejecución ansiosa para cerrar esta brecha, pero PyTorch ya había ganado una cuota decisiva de la atención de la investigación y, a medida que la era de los grandes modelos de lenguaje acortó los plazos de investigación a producción, también gran parte del despliegue en producción. A mediados de la década de 2020, PyTorch era el marco subyacente de la mayoría de los modelos fundacionales más utilizados y se citaba con frecuencia, junto con CUDA y las GPUs de Nvidia, como una de las piezas de infraestructura de las que más depende la industria moderna de la IA.