AlexNet é uma arquitetura de rede neural convolucional desenvolvida para classificação de imagens, que alcanzou notoriedade por seu desempeño no ImageNet Large Scale Visual Recognition Challenge (ILSVRC). Ela classifica imagens em 1.000 categorías de objetos distintas e é considerada a primeira aplicação amplamente reconhecida de redes convolucionais profundas em reconhecimento visual em grande escala. Desenvolvida em 2012 por Alex Krizhevsky em colaboração com Ilya Sutskever e seu supervisor de doutorado Geoffrey Hinton na Universidade de Toronto, o modelo contém 60 milhões de parâmetros e 650.000 neurônios. O principal resultado do artigo original foi que a profundidade do modelo era essencial para seu alto desempeño, o que era computacionalmente caro, mas viabilizado pelo uso de unidades de processamento gráfico (GPUs) durante o treinamento.
Os três formaram a equipe SuperVision e submeteram AlexNet ao ImageNet Large Scale Visual Recognition Challenge em 30 de setembro de 2012. A rede alcanzó uma taxa de erro top-5 de 15,3% para vencer a competição, mais de 10,8% acima do segundo lugar. A arquitetura influenciou um grande número de trabalhos subsequentes em aprendizado profundo, especialmente na aplicação de redes neurais à visão computacional.
Arquitectura
AlexNet contém oito camadas: as cinco primeiras são camadas convolucionais, algumas seguidas por camadas de max-pooling, e as últimas três são camadas totalmente conectadas. A rede, exceto a última camada, é dividida em duas cópias, cada uma executada em uma GPU, porque a rede não cabía na VRAM de uma única GPU Nvidia GTX 580 de 3GB. Toda a estrutura pode ser escrita como (CONV → RN → MP)2 → (CONV3 → MP) → (FC → DO)2 → Linear → softmax, onde CONV = camada convolucional (com ativação ReLU), RN = normalização de resposta local, MP = max-pooling, FC = camada totalmente conectada (com ativação ReLU), Linear = camada totalmente conectada (sem ativação), e DO = dropout.
Notablemente, as camadas convolucionais 3, 4 e 5 foram conectadas entre si sem nenhum pooling ou normalização. Usou a função de ativação ReLU não saturada, que treinava melhor que tanh e sigmoid. Esta escolha foi um factor clave para permitir um treinamento mais rápido e um melhor desempeño.
Treinamento
O conjunto de treinamento ImageNet contenia 1,2 milhões de imagens. O modelo foi treinado por 90 épocas durante um período de cinco a seis dias usando duas GPUs Nvidia GTX 580 (3GB cada). Estas GPUs têm um desempeño teórico de 1.581 TFLOPS em float32 e foram vendidas a US$500 na época de seu lançamento. Cada passe direto de AlexNet requería aproximadamente 1,43 GFLOPs. Com base nesses valores, as duas GPUs juntas eram teoricamente capaces de realizar mais de 2.200 passes diretos por segundo em condições ideais.
As imagens do conjunto de dados foram armazenadas em formato JPEG, ocupando 27GB de disco. A rede neural ocupaba 2GB de RAM em cada GPU e cerca de 5GB de RAM do sistema durante o treinamento. As GPUs eram responsáveis pelo treinamento, enquanto as CPUs eram responsáveis por cargar as imagens do disco e realizar aumento de dados nas imagens.
AlexNet foi treinada com gradiente descendente com momento, com um lote de 128 exemplos, momento de 0,9 e decaimento de peso de 0,0005. A taxa de aprendizado começó em 10−2 e foi reduzida manualmente 10 vezes quando o erro de validação parecia deixar de diminuir. Fue reduzida três vezes durante o treinamento, terminando em 10−5.
Usou duas formas de aumento de dados, ambas calculadas sobre a marcha na CPU, portanto "computacionalmente gratuitas":
- Cada imagem de ImageNet foi primeiro escalada para que seu lado mais curto tivesse comprimento 256. Então, o patch central de 256×256 foi recortado e normalizado (dividindo os valores de pixel para que caigan entre 0 e 1, depois subtraendo por [0,485, 0,456, 0,406], e depois dividendo por [0,229, 0,224, 0,225]. Estes são a média e os desvios padrão para ImageNet, o que branquea os dados de entrada).
- Extração de patches aleatorios de 224×224 (e suas reflexões horizontales) do recorte de 256×256. Isso aumenta o tamanho do conjunto de treinamento 2048 vezes.
- Deslocamento aleatorio dos valores RGB de cada imagem ao longo das três direções principais dos valores RGB de seus pixels.
A resolução 224×224 foi escolhida porque 256 - 16 - 16 = 224, o que significa que, dada uma imagem de 256×256, emarcar uma largura de 16 em seus 4 lados resulta em uma imagem de 224×224.
Usou normalização de resposta local e regularização Dropout com probabilidade de abandono 0,5. Todos os pesos foram inicializados como gaussianos com média 0 e desvio padrão 0,01. Os vieses nas camadas convolucionais 2, 4, 5 e em todas as camadas totalmente conectadas foram inicializados com constante 1 para evitar o problema de ReLU morta.
No momento do teste, para usar uma AlexNet treinada para prever a classe de uma imagem, essa imagem é primeiro escalada para que seu lado mais curto tenha comprimento 256. Então, o patch central de 256×256 é recortado. Depois, os cinco patches de 224×224 (os quatro patches de canto e o patch central) e suas reflexões horizontales são calculados, 10 patches no total. As probabilidades previstas pela rede em todos os 10 patches são promediadas, e essa é a probabilidade final prevista.
Competição ImageNet
A versão usada para entrar na competição ImageNet de 2012 foi um ensemble de 7 AlexNets. Específicamente, treinaram 5 AlexNets da arquitetura previamente descrita (com 5 camadas CONV) no conjunto de treinamento ILSVRC-2012 (1,2 milhões de imagens). Também treinaram 2 AlexNets variantes, obtidas ao adicionar uma camada CONV extra sobre a última camada de pooling. Estas foram treinadas primeiro no lançamento completo de ImageNet Fall 2011 (15 milhões de imagens em 22K categorias), e depois ajustadas finamente no conjunto de treinamento ILSVRC-2012. O sistema final de 7 AlexNets foi usado promediando suas probabilidades previstas.
História
Trabalho anterior
Em 1980, Kunihiko Fukushima propuso uma CNN inicial chamada neocognitron. Fue treinada por um algoritmo de aprendizado não supervisionado. LeNet-5 (Yann LeCun et al., 1989) foi treinada por aprendizado supervisionado com algoritmo de retropropagação, com uma arquitetura essencialmente igual à de AlexNet em pequena escala. Max pooling foi usado em 1990 para processamento de fala (essencialmente uma CNN unidimensional), e para processamento de imagens, foi usado pela primeira vez no Cresceptron de 1992.
Durante os anos 2000, à medida que o hardware de GPU melhorava, alguns pesquisadores adaptaram estas para computação de propósito geral, incluindo treinamento de redes neurais. K. Chellapilla et al. (2006) treinaron uma CNN em GPU que era 4 vezes más rápida que uma implementação equivalente em CPU. Raina et al. (2009) treinaron uma rede de crença profunda com 100 milhões de parâmetros em uma Nvidia GeForce GTX 280 com até 70 vezes de aceleración sobre CPUs. Uma CNN profunda de Dan Cireșan et al. (2011) no IDSIA foi 60 vezes más rápida que uma implementação equivalente em CPU. Entre 15 de maio de 2011 e 10 de setembro de 2012, sua CNN venceu quatro competições de imagens e alcanzó o estado da arte para múltiples bases de dados de imágenes. Segundo o artigo de AlexNet, a rede anterior de Cireșan é "algo similar". Ambas foram escritas com CUDA para ser executadas em GPU.
Visão computacional
Durante o período 1990–2010, as redes neurais não eram melhores que outros métodos de aprendizado automático como regresión de kernel, máquinas de vectores de soporte e outras técnicas clásicas. A vitoria decisiva de AlexNet no ILSVRC-2012 demonstrou que CNNs profundas podían superar estos métodos por uma amplia margen, levando a um cambio de paradigma na visão computacional. O éxito da arquitetura impulsó a adopción rápida do aprendizado profundo no campo, influenciando arquiteturas subsequentes como ResNet e muitas outras.
Legado
O impacto de AlexNet se estendió além da visão computacional, catalizando o boom más amplio da inteligência artificial. Demonstrou a eficacia do aprendizado profundo em escala, incentivando o investimento em computação baseada em GPU e o desenvolvimento de frameworks como CUDA. Os princípios das CNNs profundas, incluindo o aprendizado jerárquico de características, foram posteriormente adaptados a outros domínios, incluindo o processamento de linguagem natural com transformadores e grandes modelos de linguagem. O artigo continua sendo um dos más citados no campo, e seus autores - Krizhevsky, Sutskever e Hinton - seguiram carreras influentes, com Sutskever cofundando OpenAI e Hinton se tornando uma figura proeminente na pesquisa em IA.