AlexNet é uma arquitetura de rede neural convolucional para classificação de imagens, desenvolvida em 2012 por Alex Krizhevsky, Ilya Sutskever e Geoffrey Hinton na Universidade de Toronto. Ela classifica imagens em 1.000 categorias de objetos e é amplamente considerada a primeira demonstração em larga escala de redes convolucionais profundas no reconhecimento visual. Sua vitória decisiva no ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2012 marcou um ponto de virada em aprendizado de máquina, catalisando a rápida adoção de aprendizado profundo na pesquisa de inteligência artificial e na indústria.
O modelo contém 60 milhões de parâmetros e 650.000 neurônios. Sua arquitetura consiste em oito camadas: cinco camadas convolucionais (algumas seguidas de max-pooling) e três camadas totalmente conectadas. A rede usou a função de ativação ReLU não saturada, que melhorou a velocidade de treinamento em comparação com as ativações tradicionais tangente hiperbólica e sigmoide. Devido a restrições de memória, a rede foi dividida entre duas GPUs, com cada cópia processando metade dos neurônios. A camada final totalmente conectada combinou as saídas de ambas as GPUs.
Arquitetura
A estrutura do AlexNet pode ser resumida como: (CONV → RN → MP)2 → (CONV3 → MP) → (FC → DO)2 → Linear → softmax. Aqui, CONV denota uma camada convolucional com ativação ReLU, RN é a normalização de resposta local, MP é max-pooling, FC é uma camada totalmente conectada com ReLU, Linear é uma camada totalmente conectada sem ativação, e DO é regularização de dropout - isto é, descarte aleatório de neurônios. Notavelmente, as camadas convolucionais 3, 4 e 5 foram conectadas sequencialmente sem pooling ou normalização entre elas.
A rede usou normalização de resposta local e regularização de dropout com probabilidade de descarte de 0,5 para reduzir o overfitting ajuste excessivo. Todos os pesos foram inicializados como distribuições gaussianas com média 0 e desvio padrão 0,01. Os vieses nas camadas convolucionais 2, 4, 5 e em todas as camadas totalmente conectadas foram inicializados em 1 para evitar o problema de ReLU morta.
Treinamento
O modelo foi treinado no conjunto de treinamento do ImageNet, contendo 1,2 milhão de imagens. O treinamento durou 90 épocas ao longo de cinco a seis dias, usando duas GPUs Nvidia GTX 580 (3GB cada), que tinham um desempenho teórico de 1,581 TFLOPS em float32. Cada passagem direta (forward pass) exigia aproximadamente 1,43 GFLOPs. As imagens do conjunto de dados, armazenadas em formato JPEG, ocupavam 2GB de espaço no disco; a rede usava 2GB de RAM em cada GPU e cerca de 5GB de RAM do sistema durante o treinamento. As GPUs lidavam com o treinamento enquanto as CPUs realizavam o carregamento de imagens e a relocação de dados.
O treinamento usou gradiente descendente com momento (momentum) com um tamanho de lote (tamanho de batch) de 128, momento de 0,9 e decaimento de peso de 0,0005. A taxa de aprendizado começou em 10⁻² e foi manualmente reduzida por um fator de 10 sempre que o erro de validação atingia uma platô, terminando em 10⁻⁵. Duas formas de aumento de dados foram aplicadas em tempo real na CPU, efetivamente gratuitas: primeiro, as imagens foram redimensionadas para que seu lado menor tivesse 256 pixels; depois, um recorte central de 256×256 foi tomado e normalizado; segundo, trecho aleatórios de 224×224 (e suas reflexões horizontais) eram extraídos do recorte de 256×256, aumentando o tamanho do conjunto de treinamento em 2.048 vezes. Adicionalmente, os valores RGB de cada imagem foram aleatoriamente deslocados ao longo dos componentes principais da distribuição de cores dos pixels.
Competição ImageNet
A equipe, denominada SuperVision, submeteu um conjunto de sete redes AlexNet à competição ILSVRC-2012 em 30 de setembro de 2012. Cinco redes usaram a arquitetura padrão, enquanto duas variantes tinham uma camada convolucional extra e foram pré-treinadas no conjunto de dados ImageNet Fall 2011 maior (15 milhões de imagens, 22.000 categorias) antes do ajuste fino no conjunto de treinamento ILSVRC-2012. A previsão final foi a média das probabilidades de todas as sete redes. O conjunto alcançou uma taxa de erro top-5 de 15,3%, mais de 20,8 pontos percentuais melhor que o segundo lugar, uma melhora dramática que espantou a comunidade de visão computacional.
Impacto e Legado
O sucesso do AlexNet demonstrou o poder das redes convolucionais profundas para o reconhecimento visual em larga escala, influenciando diretamente arquiteturas subsequentes, como a ResNet e a U-Net. Também popularizou o uso de GPUs para treinamento de redes profundas, uma prática que se tornou padrão na área. A ênfase do artigo na profundidade e na eficácia de ReLU, dropout e aumento de dados moldaron práticas modernas de aprendizado profundo. AlexNet é frequentemente citado como o catalisador da revolução do aprendizado profundo, levando a descobertas em IA generativa e no desenvolvimento de modelos de linguagem de grande escala e transformadores. Sua influência se estendeu além da academia, estimulando investimentos em pesquisa de IA em empresas como OpenAI, Google DeepMind e Anthropic.