LeNet-5 é uma arquitetura de rede neural convolucional desenvolvida por um grupo de pesquisa da AT&T Bell Laboratories, centrado em Yann LeCun, e publicada em 1998. É a versão mais conhecida da série LeNet, projetada para ler pequenas imagens em escala de cinza de dígitos e letras manuscritas. LeNet-5 é historicamente importante por ser uma das primeiras redes neurais convolucionais e uma contribuição fundamental para o desenvolvimento do aprendizado profundo, influenciando muitas arquiteturas modernas.
Redes neurais convolucionais são um tipo de rede neural feed-forward cujos neurônios artificiais podem responder a uma parte das células circundantes na área de cobertura, apresentando bom desempenho no processamento de imagens em larga escala. LeNet-5 exemplifica isso ao usar camadas convolucionais para extrair características espaciais, camadas de pooling para subamostragem e camadas totalmente conectadas para classificação. Seu sucesso em aplicações práticas, como a leitura de milhões de cheques por dia, demonstrou a viabilidade das redes neurais em tarefas do mundo real.
Histórico de Desenvolvimento
As origens do LeNet remontam a 1988, quando Yann LeCun ingressou no Departamento de Pesquisa em Sistemas Adaptativos da AT&T Bell Laboratories em Holmdel, Nova Jersey, liderado por Lawrence D. Jackel. No final de novembro de 1988, John S. Denker e colegas publicaram um projeto de rede neural para reconhecer códigos postais manuscritos, embora suas camadas iniciais fossem ajustadas manualmente. Em 1989, LeCun e sua equipe aplicaram pela primeira vez o algoritmo de retropropagação em aplicações práticas, combinando redes neurais convolucionais com retropropagação para ler números manuscritos. Este protótipo, posteriormente chamado de LeNet-1, foi aplicado com sucesso para identificar códigos postais manuscritos do Serviço Postal dos EUA, alcançando uma taxa de erro de apenas 1% com uma taxa de rejeição de cerca de 9%.
Nos quatro anos seguintes, a pesquisa continuou, levando ao desenvolvimento do banco de dados MNIST em 1994. LeNet-1 era pequeno demais para esse novo conjunto de dados, o que motivou a criação do LeNet-4. Em 1998, Yann LeCun, Leon Bottou, Yoshua Bengio e Patrick Haffner descreveram o LeNet-5 em um artigo que também apresentava aplicações práticas, incluindo sistemas para reconhecer caracteres manuscritos e modelos que podiam ler milhões de cheques por dia. Este trabalho despertou amplo interesse na pesquisa de redes neurais e, embora as arquiteturas modernas difiram, o LeNet serviu como ponto de partida para muitos projetos subsequentes.
Arquitetura
LeNet-5 incorpora vários motivos comuns em redes neurais convolucionais modernas, incluindo camadas convolucionais, camadas de pooling e camadas totalmente conectadas. Cada camada convolucional inclui três partes: convolução, pooling e uma função de ativação não linear, tipicamente a função tanh. A rede usa convolução para extrair características espaciais, com o conceito de campos receptivos, e emprega pooling médio para subamostragem. As camadas finais são totalmente conectadas para classificação, e conexões esparsas entre camadas reduzem a complexidade computacional.
O relatório de 1989 de LeCun et al. introduziu redes rotuladas de Net-1 a Net-5, com vários refinamentos que levaram ao LeNet-5 de 1998. A nomenclatura é inconsistente, e não está claro a que LeNet-2 e LeNet-3 poderiam se referir. LeNet-1, LeNet-4 e LeNet-5 são bem documentados, mas as versões intermediárias não são.
Protótipos Iniciais
A primeira rede neural publicada pelo grupo de LeCun em 1988 foi uma abordagem híbrida. Seu primeiro estágio escalava, corrigia a inclinação e esqueletizava a imagem de entrada. O segundo estágio usava uma camada convolucional com 18 kernels projetados manualmente, e o terceiro estágio era uma rede totalmente conectada com uma camada oculta. O conjunto de dados consistia em imagens de dígitos manuscritos extraídas de correspondência real dos EUA, o mesmo conjunto de dados usado no famoso relatório de 1989.
Net-1 a Net-5
O relatório de 1989 detalhava Net-1 a Net-5, todos com camadas finais totalmente conectadas. O artigo original não explica a estratégia de preenchimento, e todas as células têm vieses independentes, incluindo as células de saída das camadas convolucionais.
- Net-1: Sem camada oculta, totalmente conectada, mapeando (16×16) para 10 saídas.
- Net-2: Uma camada oculta totalmente conectada com 12 unidades ocultas, mapeando (16×16) para 12 para 10.
- Net-3: Duas camadas ocultas convolucionais, mapeando (16×16) para (8×8) para (4×4) para 10, com camadas localmente conectadas usando formatos de entrada 3×3 e passo 2.
- Net-4: Duas camadas ocultas, a primeira convolucional e a segunda localmente conectada, mapeando (16×16) para (8×8×2) para (4×4) para 10, com a camada de convolução tendo 2 kernels de formato 3×3 e passo 2.
- Net-5: A versão final, LeNet-5, refinou esses conceitos em uma arquitetura mais profunda com múltiplas camadas convolucionais e de pooling, culminando em camadas totalmente conectadas para classificação.
Impacto e Legado
Os princípios de design do LeNet-5, como extração de características convolucionais e subamostragem, tornaram-se fundamentais no aprendizado profundo. Ele demonstrou que minimizar o número de parâmetros livres em uma rede neural poderia melhorar a generalização, uma percepção-chave para arquiteturas posteriores. O sucesso da rede na leitura de cheques manuscritos em caixas eletrônicos e códigos postais influenciou tanto a pesquisa acadêmica quanto aplicações comerciais. Embora as redes neurais modernas tenham evoluído significativamente, o LeNet-5 permanece um marco histórico, frequentemente citado como precursor dos modelos modernos de aprendizado profundo e um catalisador para a adoção mais ampla de abordagens de rede neural em aprendizado de máquina e inteligência artificial.