LeNet é uma série de arquiteturas de redes neurais convolucionais (CNN) criadas por um grupo de pesquisa nos Laboratórios Bell da AT&T entre 1988 e 1998, centrado em Yann LeCun. Essas redes foram projetadas para ler pequenas imagens em escala de cinza de dígitos e letras manuscritos, e foram usadas em caixas eletrônicos para ler cheques. Redes neurais convolucionais são um tipo de rede neural feed-forward cujos neurônios artificiais podem responder a uma parte das células circundantes na faixa de cobertura e apresentam bom desempenho em processamento de imagens em larga escala. O LeNet-5 foi uma das primeiras redes neurais convolucionais e foi historicamente importante durante o desenvolvimento do aprendizado profundo. Em geral, quando LeNet é mencionado sem um número, refere-se à versão de 1998, o LeNet-5, que é a versão mais conhecida.
Histórico de desenvolvimento
Em outubro de 1988, LeCun ingressou no Departamento de Pesquisa em Sistemas Adaptativos dos Laboratórios Bell da AT&T em Holmdel, Nova Jersey, chefiado por Lawrence D. Jackel. No final de novembro de 1988, John S. Denker e outros publicaram um projeto de rede neural para reconhecer códigos postais manuscritos, mas suas primeiras camadas de conexões eram ajustadas manualmente.
Em 1989, Yann LeCun e outros nos Laboratórios Bell aplicaram pela primeira vez o algoritmo de retropropagação a aplicações práticas, acreditando que a capacidade de aprender a generalização da rede poderia ser muito aprimorada ao fornecer restrições do domínio da tarefa. Eles combinaram uma rede neural convolutional treinada por algoritmos de retropropagação para ler números manuscritos e a aplicaram com sucesso na identificação de códigos postais manuscritos fornecidos pelo Serviço Postal dos EUA. Este foi o protótipo do que mais tarde seria chamado de LeNet-1. No mesmo ano, LeCun descreveu um pequeno problema de reconhecimento de dígitos manuscritos em outro artigo, mostrando que, embora o problema fosse linearmente separável, redes de camada única exibiam capacidades de generalização pobres. Ao usar detectores de características invariantes a deslocamentos em uma rede multicamadas e restrita, o modelo poderia ter um desempenho muito bom. Ele acreditava que esses resultados provavam que minimizar o número de parâmetros livres na rede neural poderia aprimorar sua capacidade de generalização.
Em 1989, seu artigo que introduziu o LeNet-1 descreveu novamente a aplicação de redes de retropropagação no reconhecimento de dígitos manuscritos. Eles realizaram pré-processamento mínimo nos dados, e o modelo foi cuidadosamente projetado para a tarefa e altamente restrito. Os dados de entrada consistiam em imagens, cada uma contendo um número, e os resultados dos testes nos dados de dígitos de códigos postais fornecidos pelo Serviço Postal dos EUA mostraram que o modelo tinha uma taxa de erro de apenas 1% e uma taxa de rejeição de cerca de 9%.
A pesquisa continuou pelos quatro anos seguintes, e em 1994 o banco de dados MNIST foi desenvolvido, para o qual o LeNet-1 era pequeno demais; portanto, um novo LeNet-4 foi treinado nele. Um ano depois, o coletivo dos Laboratórios Bell da AT&T revisou vários métodos de reconhecimento de caracteres manuscritos em um artigo, usando dígitos manuscritos padrão para identificar tarefas de referência. Esses modelos foram comparados, e os resultados mostraram que a rede mais recente superava outros modelos.
Em 1998, Yann LeCun, Leon Bottou, Yoshua Bengio e Patrick Haffner conseguiram fornecer exemplos de aplicações práticas de redes neurais, como dois sistemas para reconhecer caracteres manuscritos online e modelos que podiam ler milhões de cheques por dia, o que inclui uma descrição do LeNet-5. A pesquisa alcançou grande sucesso e despertou o interesse de estudiosos no estudo de redes neurais. Embora a arquitetura das redes neurais de melhor desempenho hoje não seja a mesma do LeNet, a rede foi o ponto de partida para um grande número de arquiteturas de redes neurais e também trouxe inspiração para o campo.
Arquitetura
O LeNet possui vários motivos comuns das redes neurais convolucionais modernas, como camadas convolucionais, camadas de pooling e camadas totalmente conectadas. Cada camada convolutional inclui três partes: convolução, pooling e funções de ativação não lineares. Ele usa convolução para extrair características espaciais (a convolução era originalmente chamada de campos receptivos), pooling médio com subamostragem, funções de ativação tanh, camadas totalmente conectadas nas camadas finais para classificação e conexões esparsas entre camadas para reduzir a complexidade do cálculo.
Em 1989, LeCun e outros publicaram um relatório contendo "Net-1" a "Net-5". Houve muitos refinamentos subsequentes até 1998, e a nomenclatura é inconsistente. Geralmente, quando as pessoas falam de "LeNet", referem-se ao LeNet de 1998, também conhecido como "LeNet-5". LeNet-1, 4 e 5 foram mencionados, mas não está claro ao que LeNet-2 e LeNet-3 poderiam se referir.
Net de 1988
A primeira rede neural publicada pelo grupo de pesquisa de LeCun foi em 1988. Era uma abordagem híbrida. O primeiro estágio escalava, corrigia a inclinação e esqueletizava a imagem de entrada. O segundo estágio era uma camada convolutional com 18 kernels projetados manualmente. O terceiro estágio era uma rede totalmente conectada com uma camada oculta. O conjunto de dados era uma coleção de imagens de dígitos manuscritos extraídas do correio real dos EUA, que era o mesmo conjunto de dados usado no famoso relatório de 1989.
Net-1 a Net-5
Net-1 a Net-5 foram publicados em um relatório de 1989. A última camada de todos eles era totalmente conectada. O artigo original não explica a estratégia de preenchimento. Todas as células têm um viés independente, incluindo as células de saída das camadas convolucionais.
- Net-1: Sem camada oculta. Totalmente conectada. (16×16) → 10.
- Net-2: Uma camada oculta totalmente conectada com 12 unidades ocultas. (16×16) → 12 → 10.
- Net-3: Duas camadas ocultas convolucionais. (16×16) → (8×8) → (4×4) → 10. Ambas são camadas localmente conectadas com formato de entrada 3×3 e passo 2.
- Net-4: Duas camadas ocultas, a primeira é uma convolução, a segunda é localmente conectada. (16×16) → (8×8×2) → (4×4) → 10. A camada convolutional tem 2 kernels de formato 3×3 e passo 2. A camada localmente conectada tem formato de entrada 3×3 e passo 2.
Legado
A influência do LeNet se estende além de sua aplicação imediata. Ele demonstrou a eficácia da retropropagação no treinamento de redes profundas e introduziu conceitos arquitetônicos-chave que se tornaram padrão em CNNs posteriores. O sucesso do LeNet na leitura de dígitos manuscritos estimulou o interesse em redes neurais e estabeleceu as bases para desenvolvimentos subsequentes em aprendizado de máquina e inteligência artificial. Seus princípios são refletidos em arquiteturas modernas, embora tenham evoluído significativamente. O conjunto de dados MNIST, desenvolvido em 1994 para treinar o LeNet-4, permanece um padrão de referência no campo. A implantação prática do LeNet em caixas eletrônicos para leitura de cheques demonstrou a viabilidade real das redes neurais, contribuindo para a adoção mais ampla de técnicas de aprendizado profundo.