AlexNet é uma arquitetura de rede neural convolucional projetada para classificação de imagens, desenvolvida em 2012 por Alex Krizhevsky, Ilya Sutskever e Geoffrey Hinton na Universidade de Toronto. Ela classifica imagens em 1.000 categorias distintas de objetos e é amplamente reconhecida como a primeira demonstração em larga escala de redes convolucionais profundas no reconhecimento visual. O modelo contém 60 milhões de parâmetros e 650.000 neurônios, e sua profundidade foi essencial para seu alto desempenho, tornada viável pelo uso de unidades de processamento gráfico (GPUs) durante o treinamento.
Os três pesquisadores formaram a equipe SuperVision e submeteram o AlexNet ao ImageNet Large Scale Visual Recognition Challenge (ILSVRC) em 30 de setembro de 2012. A rede alcançou uma taxa de erro top-5 de 15,3%, vencendo a competição por uma margem de mais de 10,8% sobre o segundo colocado. Esse resultado foi um ponto de virada para o aprendizado profundo, influenciando um grande corpo de trabalhos subsequentes em visão computacional e inteligência artificial.
Arquitetura
O AlexNet contém oito camadas: as cinco primeiras são camadas convolucionais, algumas seguidas por camadas de max-pooling, e as três últimas são camadas totalmente conectadas. A rede, exceto a última camada, é dividida em duas cópias, cada uma executando em uma GPU, porque não cabia nos 3GB de VRAM de uma única Nvidia GTX 580. A estrutura pode ser escrita como (CONV → RN → MP)2 → (CONV3 → MP) → (FC → DO)2 → Linear → softmax, onde CONV é uma camada convolucional com ativação ReLU, RN é normalização de resposta local, MP é max-pooling, FC é uma camada totalmente conectada com ReLU, Linear é uma camada totalmente conectada sem ativação, e DO é dropout.
Notavelmente, as camadas convolucionais 3, 4 e 5 são conectadas sem pooling ou normalização. O AlexNet usou a função de ativação ReLU não saturada, que treinava melhor que tanh e sigmoid. Essa escolha foi um fator-chave em sua eficiência de treinamento.
Treinamento
O conjunto de treinamento do ImageNet continha 1,2 milhão de imagens. O modelo foi treinado por 90 épocas ao longo de cinco a seis dias usando duas GPUs Nvidia GTX 580 (3GB cada), que têm um desempenho teórico de 1,581 TFLOPS em float32 e foram precificadas em US$500 no lançamento. Cada passagem direta exigia aproximadamente 1,43 GFLOPs, então as duas GPUs juntas poderiam teoricamente realizar mais de 2.200 passagens diretas por segundo sob condições ideais.
As imagens do conjunto de dados foram armazenadas em formato JPEG, ocupando 27GB de disco. A rede neural usava 2GB de RAM em cada GPU e cerca de 5GB de RAM do sistema durante o treinamento. As GPUs lidavam com o treinamento, enquanto as CPUs carregavam imagens do disco e realizavam aumento de dados.
O AlexNet foi treinado com descida de gradiente com momentum, com tamanho de lote de 128 exemplos, momentum de 0,9 e decaimento de peso de 0,0005. A taxa de aprendizado começou em 10−2 e foi manualmente reduzida em 10 vezes sempre que o erro de validação parecia parar de diminuir, sendo reduzida três vezes para terminar em 10−5. Duas formas de aumento de dados foram computadas em tempo real na CPU, tornando-as "computacionalmente gratuitas": primeiro, cada imagem foi escalada para que seu lado mais curto tivesse 256 pixels, então o patch central de 256×256 foi recortado e normalizado; segundo, patches aleatórios de 224×224 (e suas reflexões horizontais) foram extraídos, aumentando o tamanho do conjunto de treinamento em 2048 vezes. Além disso, os valores RGB foram deslocados aleatoriamente ao longo das direções principais dos valores de pixel.
A resolução de 224×224 foi escolhida porque 256 - 16 - 16 = 224, o que significa que enquadrar 16 pixels de cada lado de uma imagem de 256×256 produz uma imagem de 224×224. O AlexNet usou normalização de resposta local e regularização por dropout com probabilidade de descarte de 0,5. Todos os pesos foram inicializados como gaussianas com média 0 e desvio padrão 0,01, e os vieses nas camadas convolucionais 2, 4, 5 e em todas as camadas totalmente conectadas foram inicializados como constante 1 para evitar o problema de ReLU morta.
No momento do teste, uma imagem é escalada para que seu lado mais curto seja 256, o patch central de 256×256 é recortado, e então cinco patches de 224×224 (quatro cantos e centro) mais suas reflexões horizontais são computados, dando 10 patches. As probabilidades previstas pela rede em todos os 10 patches são calculadas em média para produzir a previsão final.
Competição ImageNet
A versão usada para a competição ImageNet de 2012 foi um conjunto de sete AlexNets. Cinco AlexNets da arquitetura padrão foram treinados no conjunto de treinamento ILSVRC-2012. Dois AlexNets variantes também foram treinados, cada um com uma camada convolucional extra sobre a última camada de pooling, primeiro no lançamento completo do ImageNet Fall 2011 (15 milhões de imagens em 22K categorias) e depois ajustados finamente no conjunto de treinamento ILSVRC-2012. O sistema final calculou a média das probabilidades previstas de todas as sete redes.
História
Trabalho anterior
Em 1980, Kunihiko Fukushima propôs uma CNN inicial chamada neocognitron, treinada por aprendizado não supervisionado. O LeNet-5, desenvolvido por Yann LeCun et al. em 1989, usava aprendizado supervisionado com retropropagação e tinha uma arquitetura essencialmente a mesma que o AlexNet em pequena escala. O max-pooling foi usado em 1990 para processamento de fala e pela primeira vez para processamento de imagem no Cresceptron de 1992.
Durante os anos 2000, à medida que o hardware de GPU melhorava, pesquisadores adaptaram GPUs para computação de propósito geral, incluindo treinamento de redes neurais. Em 2006, K. Chellapilla et al. treinaram uma CNN em GPU que era 4 vezes mais rápida que uma implementação equivalente em CPU. Em 2009, Raina et al. treinaram uma rede de crença profunda com 100 milhões de parâmetros em uma Nvidia GeForce GTX 280 com aceleração de até 70 vezes em relação às CPUs. Uma CNN profunda de Dan Cireșan et al. na IDSIA em 2011 era 60 vezes mais rápida que uma implementação equivalente em CPU, e entre 15 de maio de 2011 e 10 de setembro de 2012, sua CNN venceu quatro competições de imagem e alcançou resultados de estado da arte em múltiplos bancos de dados. De acordo com o artigo do AlexNet, a rede anterior de Cireșan é "um tanto similar" ao AlexNet, e ambas foram escritas com CUDA para executar em GPU.
Visão computacional
Durante o período de 1990–2010, as redes neurais não eram melhores que outros métodos de aprendizado de máquina, como regressão por kernel e máquinas de vetores de suporte. O sucesso do AlexNet em 2012 demonstrou o poder do aprendizado profundo para visão computacional, levando à adoção generalizada de CNNs e ao desenvolvimento de arquiteturas subsequentes, como redes residuais. Também estimulou o interesse em computação baseada em GPU para aprendizado de máquina e contribuiu para a ascensão do aprendizado profundo como abordagem dominante em IA.