Aprendizado profundo é um ramo do aprendizado de máquina que utiliza redes neurais artificiais com muitas camadas empilhadas para aprender representações hierárquicas diretamente de dados brutos, como pixels, formas de onda de áudio ou texto, sem exigir características projetadas manualmente. A palavra "profundo" refere-se ao número de camadas entre a entrada e a saída, com sistemas tipicamente tendo uma profundidade de caminho de atribuição de crédito (CAP) maior que dois. O aprendizado profundo pode ser supervisionado, semissupervisionado ou não supervisionado, e inspira-se no funcionamento biológico do cérebro, mas não tem como objetivo modelá-lo.
História
Os fundamentos matemáticos do aprendizado profundo datam da década de 1980, quando a retropropagação foi popularizada como uma forma de treinar redes multicamadas. O progresso estagnou durante as décadas de 1990 e 2000 devido a dados limitados, poder computacional limitado e concorrência de outros métodos estatísticos, um período às vezes descrito como parte de um inverno da IA mais amplo, especificamente para abordagens conexionistas. A era moderna do campo geralmente é datada de 2012, quando a AlexNet, uma rede neural convolucional profunda treinada em unidades de processamento gráfico, venceu a competição ImageNet por uma margem ampla sobre métodos baseados em características projetadas manualmente. Os pesquisadores Geoffrey Hinton, Yann LeCun e Yoshua Bengio, mais tarde chamados de trio fundador do campo, receberam o Prêmio Turing de 2018 por estabelecerem suas bases; Hinton e o físico John Hopfield compartilharam o Prêmio Nobel de Física de 2024 por trabalhos fundamentais relacionados.
O termo "aprendizado profundo" foi introduzido na comunidade de aprendizado de máquina por Rina Dechter em 1986, e para redes neurais artificiais por Igor Aizenberg e colegas em 2000, no contexto de neurônios de limiar booleano.
Arquitetura
O sucesso inicial do aprendizado profundo veio de redes convolucionais para imagens e redes neurais recorrentes, incluindo a variante LSTM, para dados sequenciais como texto e fala. Arquiteturas comuns também incluem redes totalmente conectadas, redes de crença profundas, redes adversárias generativas (GANs), transformadores e campos de radiação neural. A introdução da arquitetura transformador em 2017, que processa sequências em paralelo usando mecanismos de atenção em vez de recorrência passo a passo, deslocou amplamente as redes recorrentes para tarefas de linguagem e tornou-se a base dos modelos de linguagem de grande escala modernos. As redes são treinadas minimizando uma função de perda por meio de variantes do descida de gradiente, com a retropropagação usada para calcular como cada parâmetro deve mudar. Modelos de aprendizado profundo podem ser construídos com um método guloso camada por camada e podem ser aplicados a tarefas de aprendizado não supervisionado.
Por que funciona em escala
Redes profundas se beneficiam desproporcionalmente de mais dados e mais poder computacional em comparação com métodos estatísticos anteriores, uma relação posteriormente formalizada como leis de escala. Esse comportamento de escala, combinado com a capacidade de processamento paralelo do hardware GPU originalmente construído para renderização gráfica, permitiu que profissionais treinassem modelos cada vez maiores ao longo das décadas de 2010 e 2020. O domínio da Nvidia em GPUs capazes de IA e sua plataforma de software CUDA tornaram-se uma peça central da infraestrutura da indústria como resultado.
Interpretações
Redes neurais profundas são geralmente interpretadas em termos do teorema da aproximação universal ou da inferência probabilística. O teorema clássico da aproximação universal afirma que redes feedforward com uma única camada oculta de tamanho finito podem aproximar funções contínuas; a primeira prova foi publicada por George Cybenko em 1989 para ativações sigmoides e generalizada para arquiteturas multicamadas por Kurt Hornik em 1991. Trabalhos recentes estenderam a aproximação universal a ativações não limitadas, como a unidade linear retificada. A interpretação probabilística, que considera as não linearidades de ativação como funções de distribuição cumulativa, levou à introdução do dropout como regularizador.
Impacto e críticas
O aprendizado profundo impulsionou progresso rápido em visão computacional, reconhecimento de fala, tradução automática, processamento de linguagem natural e, mais visivelmente para o público, geração de texto e imagem. O campo também foi aplicado a bioinformática, design de medicamentos, análise de imagens médicas, ciência climática, inspeção de materiais e programas de jogos de tabuleiro, onde os resultados igualaram ou superaram o desempenho de especialistas humanos em alguns casos. Críticos observam que redes profundas permanecem amplamente opacas, funcionam como correspondentes estatísticos de padrões cujas falhas podem ser difíceis de prever e exigem enormes recursos de energia e dados, levantando preocupações ambientais e de direitos autorais. Defensores contra-argumentam que a mesma receita de escala produziu repetidamente capacidades que não foram explicitamente projetadas, um padrão central nos debates contínuos sobre a trajetória do campo em direção a uma inteligência mais geral.
Desenvolvimentos recentes
Na década de 2020, modelos de linguagem de grande escala baseados na arquitetura transformador, como GPT e bibliotecas Transformers (Hugging Face), tornaram-se produtos mainstream. O aprendizado profundo também se expandiu para modelos generativos como GANs e modelos de difusão para síntese de imagens, e campos de radiação neural para reconstrução de cenas 3D. Avanços em aprendizado de representações e aprendizado não supervisionado continuam a reduzir a dependência de dados rotulados. O campo permanece um foco de intensa pesquisa e debate público, com esforços contínuos para melhorar a interpretabilidade, a eficiência e o alinhamento com valores humanos.