La transferencia de estilo neuronal (NST, por sus siglas en inglés) es una clase de algoritmos de software que manipulan imágenes digitales o videos para adoptar la apariencia o el estilo visual de otra imagen. Los algoritmos NST se caracterizan por su uso de redes neuronales profundas para la transformación de imágenes. Los usos comunes incluyen la creación de arte artificial a partir de fotografías, como transferir la apariencia de pinturas famosas a fotos proporcionadas por el usuario. Aplicaciones móviles notables como DeepArt y Prisma emplean técnicas NST, y artistas y diseñadores de todo el mundo utilizan el método para desarrollar nuevas obras de arte basadas en estilos existentes.
NST es un ejemplo de estilización de imágenes, un problema estudiado durante más de dos décadas dentro del renderizado no fotorrealista. Los primeros dos algoritmos de transferencia de estilo basados en ejemplos fueron las analogías de imágenes y el acolchado de imágenes, ambos basados en la síntesis de texturas por parches. Las analogías de imágenes requerían un par de imágenes de entrenamiento (una foto y una obra de arte que la representara) para aprender una transformación, mientras que el acolchado de imágenes no necesitaba ese paso de procesamiento, pero se demostró solo en un estilo.
Historia
El primer método NST se publicó en el artículo "A Neural Algorithm of Artistic Style" de Leon Gatys y colaboradores, lanzado originalmente en ArXiv en 2015 y aceptado en la conferencia CVPR en 2016. El artículo original utilizaba una arquitectura VGG-19 preentrenada para el reconocimiento de objetos en el conjunto de datos ImageNet. En 2017, Google AI introdujo un método que permitía que una única red convolucional de transferencia de estilo aprendiera múltiples estilos simultáneamente, habilitando la interpolación de estilos en tiempo real incluso en medios de video.
Matemáticas
La idea de NST es tomar dos imágenes: una imagen de contenido \(\vec{p}\) y una imagen de estilo \(\vec{a}\), y generar una tercera imagen \(\vec{x}\) que minimice una combinación ponderada de dos funciones de pérdida: una pérdida de contenido \(\mathcal{L}_{\text{content}}(\vec{p}, \vec{x})\) y una pérdida de estilo \(\mathcal{L}_{\text{style}}(\vec{a}, \vec{x})\). La pérdida total es una suma lineal: \(\mathcal{L}_{\text{NST}}(\vec{p}, \vec{a}, \vec{x}) = \alpha \mathcal{L}_{\text{content}}(\vec{p}, \vec{x}) + \beta \mathcal{L}_{\text{style}}(\vec{a}, \vec{x})\). Al minimizar conjuntamente estas pérdidas, NST genera una imagen que combina el contenido de la imagen de contenido con el estilo de la imagen de estilo.
Ambas pérdidas miden la similitud entre imágenes. La similitud de contenido es la suma ponderada de las diferencias al cuadrado entre las activaciones neuronales de una única red neuronal convolucional (CNN) en dos imágenes. La similitud de estilo es la suma ponderada de las matrices de Gram dentro de cada capa. El artículo original utilizaba una CNN VGG-19, pero el método funciona con cualquier CNN.
Símbolos
Sea \(\vec{x}\) una imagen de entrada a una CNN. Sea \(F^l \in \mathbb{R}^{N_l \times M_l}\) la matriz de respuestas de filtros en la capa \(l\) a la imagen, donde \(N_l\) es el número de filtros en la capa \(l\), y \(M_l\) es la altura por el ancho (número de píxeles) de cada respuesta de filtro.
Aplicaciones e Impacto
NST ha encontrado un uso generalizado en aplicaciones de consumo, particularmente en aplicaciones móviles que permiten a los usuarios aplicar estilos artísticos a sus fotos en tiempo real. DeepArt y Prisma están entre las más notables, popularizando la técnica para un público general. Más allá de las aplicaciones de consumo, NST ha sido adoptado por artistas digitales y diseñadores para crear obras de arte novedosas, y ha influido en investigaciones posteriores en IA generativa y generación de imágenes. La capacidad de la técnica para separar contenido y estilo en representaciones neuronales también ha informado el trabajo en otras áreas del aprendizaje profundo, como los generadores basados en estilos y la adaptación de dominios.
Técnicas Relacionadas y Evolución
NST es parte de una familia más amplia de métodos de estilización de imágenes que preceden al aprendizaje profundo, incluyendo enfoques basados en parches como las analogías de imágenes y el acolchado de imágenes. La introducción de redes neuronales profundas marcó un avance significativo, permitiendo una transferencia de estilo más flexible y de mayor calidad. Desarrollos posteriores, como el método de Google AI de 2017 para el aprendizaje de múltiples estilos, mejoraron la eficiencia y el rendimiento en tiempo real. NST también se relaciona con otras técnicas de manipulación de imágenes basadas en redes neuronales, y sus principios se han integrado en sistemas modernos de IA generativa, aunque estos a menudo utilizan arquitecturas diferentes como modelos transformadores en lugar de redes convolucionales.
Limitaciones y Consideraciones
Los primeros métodos NST eran computacionalmente intensivos, requiriendo optimización iterativa para cada imagen de salida, aunque enfoques posteriores que usan redes de avance redujeron este costo. La calidad de los resultados depende de la elección de capas y pesos de pérdida, y el método a veces puede producir artefactos o no preservar detalles finos. Como con muchas técnicas de inteligencia artificial, NST plantea preguntas sobre autoría y originalidad cuando se usa para crear obras derivadas, aunque estas no son exclusivas de NST.