O conexionismo é uma abordagem ao estudo dos processos mentais humanos e da cognição que utiliza modelos matemáticos conhecidos como redes conexionistas ou redes neurais artificiais. O princípio central sustenta que os fenômenos mentais podem ser descritos por redes interconectadas de unidades simples e frequentemente uniformes, onde a forma das conexões e das unidades pode variar de modelo para modelo. Por exemplo, unidades na rede poderiam representar neurônios e conexões poderiam representar sinapses, como no cérebro humano. Essa abordagem tem sido vista como uma alternativa às teorias clássicas da mente baseadas em computação simbólica, frequentemente referidas como boa e velha IA (GOFAI), embora a extensão em que as duas abordagens são compatíveis tenha sido debatida desde seu início.
O conexionismo passou por várias ondas distintas de desenvolvimento desde seus primórdios. A primeira onda surgiu em 1943 com o trabalho de Warren Sturgis McCulloch e Walter Pitts, que se concentraram em compreender a circuitaria neural por meio de uma abordagem formal e matemática. A segunda onda floresceu no final dos anos 1980 com a introdução de camadas ocultas e funções de ativação sigmoide. A atual terceira onda tem sido marcada por avanços em aprendizado profundo, que tornaram possível a criação de grandes modelos de linguagem. O sucesso das redes de aprendizado profundo nas últimas décadas aumentou muito a popularidade dessa abordagem, mas a complexidade e a escala de tais redes trouxeram problemas crescentes de interpretabilidade.
Princípio básico
O princípio conexionista central é que os fenômenos mentais podem ser descritos por redes interconectadas de unidades simples e frequentemente uniformes. A forma das conexões e das unidades pode variar de modelo para modelo. Por exemplo, unidades na rede poderiam representar neurônios e as conexões poderiam representar sinapses, como no cérebro humano. Esse princípio tem sido visto como uma alternativa à GOFAI e às teorias clássicas da mente baseadas em computação simbólica, mas a extensão em que as duas abordagens são compatíveis tem sido objeto de muito debate desde seu início.
As redes neurais seguem dois princípios básicos. Qualquer estado mental pode ser descrito como um vetor n-dimensional de valores de ativação numéricos sobre unidades neurais em uma rede. Memória e aprendizado são criados pela modificação dos pesos das conexões entre unidades neurais, geralmente representados como uma matriz n×m. Os pesos são ajustados de acordo com alguma regra ou algoritmo de aprendizado, como o aprendizado hebbiano.
A maior parte da variedade entre os modelos conexionistas vem de três fontes. A interpretação das unidades pode variar, com unidades interpretadas como neurônios ou grupos de neurônios. A definição de ativação pode diferir; por exemplo, em uma máquina de Boltzmann, a ativação é interpretada como a probabilidade de gerar um potencial de ação e é determinada por meio de uma função logística sobre a soma das entradas para uma unidade. O algoritmo de aprendizado também varia, com qualquer mudança matematicamente definida nos pesos das conexões ao longo do tempo sendo referida como algoritmo de aprendizado.
Ativação e aprendizado
Os estados internos de qualquer rede mudam ao longo do tempo devido aos neurônios enviarem um sinal para uma camada sucessora de neurônios no caso de uma rede feedforward, ou para uma camada anterior no caso de uma rede recorrente. A descoberta de funções de ativação não lineares possibilitou a segunda onda do conexionismo. Redes modernas comumente usam funções como a sigmoide, ReLU, ou variantes delas, que permitem que as redes modelem relações não lineares complexas.
O aprendizado em redes conexionistas tipicamente envolve ajustar os pesos das conexões de acordo com uma regra de aprendizado. O mais influente deles tem sido a retropropagação, que calcula gradientes de erro em relação aos pesos e os atualiza de acordo. Técnicas de otimização como otimizador Adam e outras variantes de SGD tornaram-se padrão no treinamento de redes profundas. Outras técnicas como Dropout, normalização em lote e normalização de camada ajudam a estabilizar e regularizar o treinamento.
Realismo biológico
O trabalho conexionista em geral não precisa ser biologicamente realista. Uma área onde os modelos conexionistas são considerados biologicamente implausíveis é com respeito às redes de propagação de erro que são necessárias para apoiar o aprendizado. No entanto, a propagação de erro pode explicar parte da atividade elétrica gerada biologicamente vista no couro cabeludo em potenciais relacionados a eventos, como o N400 e o P600, fornecendo algum suporte biológico para uma das suposições-chave dos procedimentos de aprendizado conexionistas.
Muitos modelos conexionistas recorrentes também incorporam a teoria de sistemas dinâmicos. Muitos pesquisadores, como o conexionista Paul Smolensky, argumentaram que os modelos conexionistas evoluirão em direção a abordagens totalmente contínuas, de alta dimensão, não lineares e de sistemas dinâmicos. O campo da pesquisa em redes neurais continua a se inspirar na neurociência enquanto também persegue objetivos de engenharia.
Precursores
Precursores dos princípios conexionistas podem ser rastreados até trabalhos iniciais em psicologia, como os de William James. Teorias psicológicas baseadas no conhecimento sobre o cérebro humano estavam na moda no final do século XIX. Já em 1869, o neurologista John Hughlings Jackson argumentou por sistemas distribuídos de múltiplos níveis. Seguindo essa liderança, os Princípios de Psicologia de Herbert Spencer, 3ª edição (1872), e o Projeto para uma Psicologia Científica de Sigmund Freud (composto em 1895) propuseram teorias conexionistas ou proto-conexionistas. Essas tendiam a ser teorias especulativas. No início do século XX, Edward Thorndike escrevia sobre aprendizado humano que postulava uma rede do tipo conexionista.
As redes de Hopfield tiveram precursores no modelo de Ising devido a Wilhelm Lenz (1920) e Ernst Ising (1925), embora o modelo de Ising concebido por eles não envolvesse tempo. Simulações de Monte Carlo do modelo de Ising exigiram o advento dos computadores na década de 1950.
A primeira onda
A primeira onda começou em 1943 com Warren Sturgis McCulloch e Walter Pitts, que se concentraram em compreender a circuitaria neural por meio de uma abordagem formal e matemática. Seu artigo clássico "A Logical Calculus of Ideas Immanent in Nervous Activity" (1943) mostrou como sistemas neurais poderiam implementar lógica de primeira ordem. Eles foram influenciados pelo trabalho de Nicolas Rashevsky na década de 1930.
Frank Rosenblatt publicou o artigo de 1958 "The Perceptron: A Probabilistic Model For Information Storage and Organization in the Brain" na Psychological Review enquanto trabalhava no Cornell Aeronautical Laboratory. O perceptron era uma rede simples de camada única que podia classificar padrões linearmente separáveis. A primeira onda terminou com o livro de 1969 Perceptrons sobre as limitações da ideia original do perceptron, escrito por Marvin Minsky e Seymour Papert, o que contribuiu para desencorajar as principais agências de financiamento nos EUA de investirem em pesquisa conexionista. Com algumas exceções notáveis, a maior parte da pesquisa conexionista entrou em um período de inatividade até meados da década de 1980. O termo modelo conexionista foi reintroduzido em um artigo de 1982 na revista Cognitive Science por Jerome Feldman e Dana Ballard.
A segunda onda
A segunda onda floresceu no final dos anos 1980, após um livro de 1987, Processamento Distribuído Paralelo, de James L. McClelland, David E. Rumelhart e colegas, que introduziu melhorias na ideia simples do perceptron. Essas incluíam processadores intermediários agora conhecidos como camadas ocultas, juntamente com unidades de entrada e saída, e o uso de uma função de ativação sigmoide em vez da antiga função de tudo-ou-nada. Seu trabalho baseou-se no de John Hopfield, que foi uma figura-chave na investigação das características matemáticas das funções de ativação sigmoide.
Do final dos anos 1980 até meados dos anos 1990, o conexionismo assumiu um tom quase revolucionário quando pesquisadores como Schneider, Terence Horgan e Tienson levantaram a questão de se o conexionismo representava uma mudança fundamental na psicologia e na chamada boa e velha IA. Algumas vantagens da abordagem conexionista da segunda onda incluíam sua aplicabilidade a uma ampla gama de funções, aproximação estrutural aos neurônios biológicos, baixos requisitos de estrutura inata e capacidade de degradação graciosa. Suas desvantagens incluíam a dificuldade em decifrar como as redes neurais artificiais processam informações ou explicam a composicionalidade das representações mentais, e uma dificuldade resultante em explicar fenômenos em um nível mais alto.
A terceira onda e o aprendizado profundo
A atual terceira onda tem sido marcada por avanços no aprendizado profundo, que tornaram possível a criação de grandes modelos de linguagem. O sucesso das redes de aprendizado profundo na última década aumentou muito a popularidade dessa abordagem, mas a complexidade e a escala de tais redes trouxeram consigo problemas crescentes de interpretabilidade. Arquiteturas modernas como o transformador impulsionaram o progresso em IA generativa, com modelos desenvolvidos em organizações incluindo OpenAI, Anthropic e Google DeepMind. Esses sistemas se baseiam em princípios conexionistas, mas operam em escalas muito além das redes iniciais, com bilhões de parâmetros treinados em vastos conjuntos de dados usando hardware especializado de empresas como NVIDIA e AMD.