StyleGAN (Style Generative Adversarial Network) es una arquitectura de modelo generativo introducida por investigadores de NVIDIA en diciembre de 2018. Es una extensión del marco de GAN, diseñada para generar imágenes de alta resolución y fotorrealistas, especialmente rostros humanos. La arquitectura permite un control fino sobre las características de la imagen mediante un mecanismo basado en estilos, y su código fuente se hizo público en febrero de 2019.
StyleGAN se basa en el enfoque de GAN progresiva, que hace crecer el generador y el discriminador de baja a alta resolución durante el entrenamiento. La innovación clave es la inyección de vectores de estilo a múltiples escalas, lo que permite al modelo controlar de forma independiente los detalles gruesos y finos. La implementación original dependía de TensorFlow y del software CUDA de NVIDIA, pero versiones posteriores adoptaron PyTorch como biblioteca oficial.
Historia
El predecesor directo de StyleGAN es la GAN progresiva, publicada en 2017. En diciembre de 2018, investigadores de NVIDIA publicaron un preprint y el software correspondiente para StyleGAN, capaz de producir retratos convincentes e ilimitados de rostros humanos falsos en GPU comerciales. En febrero de 2019, el ingeniero de Uber Phillip Wang utilizó el software para crear el sitio web This Person Does Not Exist, que mostraba una nueva cara en cada recarga de página. Wang expresó asombro por el hecho de que, a pesar de que los humanos han evolucionado para comprender los rostros, StyleGAN pudiera desglosar las características faciales relevantes y recomponerlas de manera coherente.
En septiembre de 2019, el sitio web Generated Photos publicó una colección de 100,000 imágenes de stock creadas con StyleGAN, utilizando un conjunto de datos privado capturado en un entorno controlado con iluminación y ángulos consistentes. Casi al mismo tiempo, dos profesores de la Escuela de Información de la Universidad de Washington crearon Which Face is Real?, una herramienta interactiva que desafiaba a los visitantes a distinguir entre caras falsas y reales. Su objetivo era educar al público sobre la existencia de la tecnología para que la gente pudiera ser cautelosa, de manera similar a la conciencia generalizada sobre la manipulación en Photoshop.
StyleGAN2 se publicó el 5 de febrero de 2020, eliminando artefactos característicos y mejorando la calidad de imagen. StyleGAN3, descrito como una versión "libre de alias", se introdujo el 23 de junio de 2021, con el código fuente publicado el 12 de octubre de 2021. Mejoró la consistencia entre detalles finos y gruesos y se implementó utilizando PyTorch.
Arquitectura
GAN progresiva
La GAN progresiva es un método de entrenamiento para la generación de imágenes a gran escala de manera estable. Descompone el generador como \(G = G_1 \circ G_2 \circ \cdots \circ G_N\) y el discriminador como \(D = D_N \circ D_{N-1} \circ \cdots \circ D_1\). Inicialmente, solo se utilizan \(G_N\) y \(D_N\) para generar imágenes de 4x4. Luego se añaden \(G_{N-1}\) y \(D_{N-1}\), permitiendo la generación de 8x8, y así sucesivamente hasta 1024x1024. Para evitar discontinuidades, las nuevas capas se "fusionan" mediante un factor alfa que transiciona suavemente de 0 a 1, con funciones de muestreo ascendente y descendente.
StyleGAN
StyleGAN combina la GAN progresiva con transferencia de estilo neuronal. Cada imagen generada comienza como un arreglo constante de 4x4x512 y pasa a través de bloques de estilo. Cada bloque de estilo aplica un vector de estilo latente mediante una transformación afín (normalización adaptativa de instancia), similar a cómo la transferencia de estilo neuronal utiliza matrices de Gram. Luego añade ruido y normaliza restando la media y dividiendo por la varianza. Durante el entrenamiento, típicamente se utiliza un vector de estilo latente por imagen, pero ocasionalmente dos (regularización de mezcla) para fomentar que cada bloque de estilo opere de manera independiente.
Aplicaciones e impacto
StyleGAN ha sido ampliamente utilizado en la investigación de IA y en aplicaciones creativas. Ha permitido la generación de rostros realistas para arte, diseño y datos sintéticos. La capacidad de controlar el estilo en diferentes niveles ha inspirado modelos posteriores en IA generativa. Sin embargo, también ha planteado preocupaciones sobre su uso indebido, como la creación de perfiles falsos o contenido engañoso.
Uso ilícito
En diciembre de 2019, Facebook eliminó una red de cuentas con identidades falsas, señalando que algunas utilizaban fotos de perfil creadas con técnicas de aprendizaje automático. Esto destacó el potencial de StyleGAN para ser utilizado en desinformación o fraude de identidad, lo que provocó debates sobre la detección y las salvaguardas éticas.
Legado
La influencia de StyleGAN se extiende más allá de la generación de rostros. Sus principios arquitectónicos, como el crecimiento progresivo y la modulación de estilo, han sido adoptados en varios modelos de aprendizaje profundo. La publicación del código fuente y las versiones posteriores (StyleGAN2 y StyleGAN3) lo convirtieron en un estándar de referencia en la investigación de aprendizaje automático, con implementaciones disponibles en marcos principales como PyTorch y TensorFlow.