Um perceptron multicamada (MLP) é um tipo de rede neural feedforward composta por neurônios totalmente conectados organizados em camadas, com funções de ativação não lineares. Diferentemente dos perceptrons de camada única, que só conseguem classificar dados linearmente separáveis, os MLPs conseguem distinguir dados que não são linearmente separáveis, o que os torna uma arquitetura fundamental no aprendizado profundo. Os MLPs modernos são treinados usando retropropagação e são frequentemente chamados coloquialmente de redes neurais "vanilla".
O MLP surgiu de esforços para superar as limitações do perceptron de camada única, que usava uma função degrau de Heaviside como ativação. A retropropagação, no entanto, requer funções de ativação contínuas como a sigmoide ou a unidade linear retificada (ReLU). Os MLPs forman a base do aprendizado profundo e são aplicáveis em um vasto conjunto de domínios, incluendo reconhecimento de imagens, processamento de linguagem natural e previsão de séries temporales.
Desenvolvimento Histórico
O conceito de neurones artificiais data de 1943, quando Warren McCulloch e Walter Pitts propusieron um neurônio binário como modelo lógico de redes neurais biológicas. Em 1958, Frank Rosenblatt introdujo o modelo de perceptron multicamada, que tinha uma camada de entrada, uma camada oculta com pesos aleatorios que não aprendiam, e uma camada de saída com conexões aprendibles. O livro de Rosenblatt de 1962 Principles of Neurodynamics descrevia variantes com até duas camadas treinables por "retropropagação de erros", mas isso não era o algoritmo moderno de retropropagação, e não existía nenhun método geral para treinar múltiples capas nessa época.
Em 1965, Alexey Grigorevich Ivakhnenko e Valentin Lapa publicaron o Método de Agrupamento para Manejo de Dados, um dos primeros métodos de aprendizado profundo, usado para treinar uma rede neural de oito capas em 1971. Em 1967, Shun'ichi Amari reportó a primeira rede neural multicamada treinada por descenso de gradiente estocástico, capaz de classificar classes de padrões não linearmente separables; seu aluno Saito condujo experimentos computacionais usando uma rede feedforward de cinco capas com duas capas de aprendizado.
A retropropagação foi desenvolvida independentemente múltiples vezes no início dos anos 1970. A primeira instância publicada foi a tesis de mestrado de Seppo Linnainmaa em 1970. Paul Werbos a desenvolveu independentemente em 1971, embora tuvesse dificultades para publicar até 1982. Em 1986, David E. Rumelhart e colegas popularizaron a retropropagação, levando a uma adopción generalizada. O interesse nas redes de retropropagação ressurgió em 2003 devido aos éxitos do aprendizado profundo na modelação de linguagem por Yoshua Bengio e coautores.
Arquitectura e Funções de Ativación
Um MLP consiste em três ou más capas: uma capa de entrada, uma capa de saída, e uma ou más capas ocultas. Cada nodo em uma capa se conecta com um peso determinado a cada nodo na capa seguinte, fazendo a rede totalmente conectada. Se todos os neurones usassem funções de ativación lineares, a álgebra linear mostra que qualquer número de capas poderia ser reduzido a um modelo de duas capas entrada-saída. Por tanto, os MLPs usam funções de ativación não lineares, que foram desenvolvidas para modelar a frequência de disparo dos neurones biológicos.
Historicamente, duas funções de ativación comuns eram sigmoides: a tangente hiperbólica, que varia de -1 a 1, e a função logística, que varia de 0 a 1. Más recentemente, a unidade linear retificada (ReLU) se tornou prevalente no aprendizado profundo, já que ajuda a superar problemas numéricos associados com sigmoides. Outras alternativas incluyen softplus e funções de base radial, estas últimas usadas em redes de base radial.
Aprendizado via Retropropagación
O aprendizado em um MLP ocorre ajustando os pesos das conexiones após processar cada ponto de dados, baseado no erro entre a saída e o resultado esperado. Isso é aprendizado supervisado, realizado através da retropropagación, uma generalización do algoritmo de mínimos cuadrados medios usado em perceptrons lineares. O erro para um nodo de saída j no n-ésimo exemplo de treinamento é definido como e_j(n) = d_j(n) - y_j(n), onde d_j(n) é o alvo desejado e y_j(n) é a saída real. O algoritmo propaga este erro hacia atrás através da rede para atualizar os pesos, tipicamente usando métodos de optimización como descenso de gradiente estocástico.
Variantes Modernas e Impacto
Em 2021, pesquisadores diseñaron MLP-Mixer, uma arquitectura simples que combina dois MLPs profundos com conexiones de salto e normalizaciones de capa. Suas realizaciones, com 19 a 431 milhões de parámetros, se desempeñaron de manera comparable a los vision transformers de tamaño similar en ImageNet y tareas similares de classificação de imagens. Isso mostrou que os MLPs permanecen competitivos no aprendizado profundo moderno, a pesar do surgimiento de modelos Transformer (architecture). Os MLPs também são integrantes de muitos sistemas Neural network, incluendo componentes de arquitecturas Large language model e frameworks de Deep learning. Su simplicidade e eficacia os fazem um baseline estándar na pesquisa e aplicações de Machine learning.
Limitaciones e Extensões
Embora os MLPs sejam poderosos, têm limitaciones. São totalmente conectados, levando a muitos parámetros e custo computacional para entradas de alta dimensión como imagens. Tampoco capturan inherentemente estrutura espacial ou sequencial, o que motivó arquitecturas como Residual Network (ResNet) e modelos Sequence-to-Sequence (Seq2Seq). Técnicas como Dropout, Batch Normalization, e Layer Normalization são frequentemente aplicadas para melhorar a estabilidad do treinamento e a generalización. A pesar destes desafíos, os MLPs permanecen como um bloco fundamental em Artificial intelligence e continuam informando o diseño de arquitecturas más complexas.