El conexionismo es un enfoque para el estudio de los procesos mentales humanos y la cognición que utiliza modelos matemáticos conocidos como redes conexionistas o redes neuronales artificiales. El principio central sostiene que los fenómenos mentales pueden describirse mediante redes interconectadas de unidades simples y a menudo uniformes, donde la forma de las conexiones y las unidades puede variar de un modelo a otro. Por ejemplo, las unidades de la red podrían representar neuronas y las conexiones podrían representar sinapsis, como en el cerebro humano. Este enfoque se ha considerado una alternativa a las teorías clásicas de la mente basadas en la computación simbólica, a menudo denominadas inteligencia artificial clásica (GOFAI), aunque el grado en que ambos enfoques son compatibles ha sido debatido desde sus inicios.
El conexionismo ha experimentado varias oleadas distintas de desarrollo desde sus comienzos. La primera oleada surgió en 1943 con el trabajo de Warren Sturgis McCulloch y Walter Pitts, quienes se centraron en comprender la circuitería neuronal mediante un enfoque formal y matemático. La segunda oleada floreció a finales de la década de 1980 con la introducción de capas ocultas y funciones de activación sigmoideas. La tercera oleada actual ha estado marcada por avances en Deep learning, que han hecho posible la creación de grandes modelos de lenguaje. El éxito de las redes de aprendizaje profundo en las últimas décadas ha aumentado enormemente la popularidad de este enfoque, pero la complejidad y escala de dichas redes ha traído consigo mayores problemas de interpretabilidad.
Principio básico
El principio conexionista central es que los fenómenos mentales pueden describirse mediante redes interconectadas de unidades simples y a menudo uniformes. La forma de las conexiones y las unidades puede variar de un modelo a otro. Por ejemplo, las unidades de la red podrían representar neuronas y las conexiones podrían representar sinapsis, como en el cerebro humano. Este principio se ha considerado una alternativa a la GOFAI y a las teorías clásicas de la mente basadas en la computación simbólica, pero el grado en que ambos enfoques son compatibles ha sido objeto de mucho debate desde sus inicios.
Las redes neuronales siguen dos principios básicos. Cualquier estado mental puede describirse como un vector n-dimensional de valores de activación numéricos sobre unidades neuronales en una red. La memoria y el aprendizaje se crean modificando los pesos de las conexiones entre unidades neuronales, generalmente representados como una matriz n×m. Los pesos se ajustan según alguna regla o algoritmo de aprendizaje, como el aprendizaje hebbiano.
La mayor parte de la variedad entre los modelos conexionistas proviene de tres fuentes. La interpretación de las unidades puede variar, con unidades interpretadas como neuronas o grupos de neuronas. La definición de activación puede diferir; por ejemplo, en una máquina de Boltzmann, la activación se interpreta como la probabilidad de generar un potencial de acción y se determina mediante una función logística sobre la suma de entradas a una unidad. El algoritmo de aprendizaje también varía, y cualquier cambio definido matemáticamente en los pesos de las conexiones a lo largo del tiempo se denomina algoritmo de aprendizaje.
Activación y aprendizaje
Los estados internos de cualquier red cambian con el tiempo debido a que las neuronas envían una señal a una capa sucesiva de neuronas en el caso de una red feedforward, o a una capa anterior en el caso de una red recurrente. El descubrimiento de funciones de activación no lineales permitió la segunda oleada del conexionismo. Las redes modernas utilizan comúnmente funciones como la sigmoide, ReLU o variantes de estas, que permiten a las redes modelar relaciones no lineales complejas.
El aprendizaje en redes conexionistas típicamente implica ajustar los pesos de las conexiones según una regla de aprendizaje. La más influyente de estas ha sido la retropropagación, que calcula gradientes de error con respecto a los pesos y los actualiza en consecuencia. Técnicas de optimización como Adam (Optimizer) y otras Stochastic Gradient Descent Variants se han convertido en estándar para entrenar redes profundas. Otras técnicas como Dropout, Batch Normalization y Layer Normalization ayudan a estabilizar y regularizar el entrenamiento.
Realismo biológico
El trabajo conexionista en general no necesita ser biológicamente realista. Un área donde se considera que los modelos conexionistas son biológicamente implausibles es con respecto a las redes de propagación de errores que se necesitan para apoyar el aprendizaje. Sin embargo, la propagación de errores puede explicar parte de la actividad eléctrica generada biológicamente que se observa en el cuero cabelludo en potenciales relacionados con eventos como el N400 y el P600, proporcionando cierto apoyo biológico para una de las suposiciones clave de los procedimientos de aprendizaje conexionistas.
Muchos modelos conexionistas recurrentes también incorporan la teoría de sistemas dinámicos. Muchos investigadores, como el conexionista Paul Smolensky, han argumentado que los modelos conexionistas evolucionarán hacia enfoques de sistemas dinámicos completamente continuos, de alta dimensión y no lineales. El campo de la investigación de redes neuronales continúa inspirándose en la neurociencia mientras también persigue objetivos de ingeniería.
Precursores
Los precursores de los principios conexionistas se pueden rastrear hasta los primeros trabajos en psicología, como los de William James. Las teorías psicológicas basadas en el conocimiento del cerebro humano estaban de moda a finales del siglo XIX. Ya en 1869, el neurólogo John Hughlings Jackson argumentó a favor de sistemas distribuidos de múltiples niveles. Siguiendo esta línea, los Principios de Psicología de Herbert Spencer, 3.ª edición (1872), y el Proyecto de una psicología científica de Sigmund Freud (compuesto en 1895) propusieron teorías conexionistas o protoconexionistas. Estas tendían a ser teorías especulativas. A principios del siglo XX, Edward Thorndike escribía sobre el aprendizaje humano que postulaba un tipo de red conexionista.
Las redes de Hopfield tuvieron precursores en el modelo de Ising debido a Wilhelm Lenz (1920) y Ernst Ising (1925), aunque el modelo de Ising concebido por ellos no involucraba el tiempo. Las simulaciones de Monte Carlo del modelo de Ising requirieron la llegada de las computadoras en la década de 1950.
La primera oleada
La primera oleada comenzó en 1943 con Warren Sturgis McCulloch y Walter Pitts, quienes se centraron en comprender la circuitería neuronal mediante un enfoque formal y matemático. Su artículo clásico "Un cálculo lógico de las ideas inmanentes en la actividad nerviosa" (1943) mostró cómo los sistemas neuronales podían implementar la lógica de primer orden. Fueron influenciados por el trabajo de Nicolas Rashevsky en la década de 1930.
Frank Rosenblatt publicó el artículo de 1958 "El perceptrón: un modelo probabilístico para el almacenamiento y organización de la información en el cerebro" en Psychological Review mientras trabajaba en el Laboratorio Aeronáutico de Cornell. El perceptrón era una red simple de una sola capa que podía clasificar patrones linealmente separables. La primera oleada terminó con el libro de 1969 Perceptrons sobre las limitaciones de la idea original del perceptrón, escrito por Marvin Minsky y Seymour Papert, que contribuyó a desalentar a las principales agencias de financiación en los EE. UU. de invertir en investigación conexionista. Con algunas desviaciones notables, la mayor parte de la investigación conexionista entró en un período de inactividad hasta mediados de la década de 1980. El término modelo conexionista se reintrodujo en un artículo de 1982 en la revista Cognitive Science de Jerome Feldman y Dana Ballard.
La segunda oleada
La segunda oleada floreció a finales de la década de 1980, tras el libro de 1987 Procesamiento distribuido paralelo de James L. McClelland, David E. Rumelhart y colegas, que introdujo mejoras a la idea simple del perceptrón. Estas incluían procesadores intermedios ahora conocidos como capas ocultas junto con unidades de entrada y salida, y el uso de una función de activación sigmoidea en lugar de la antigua función de todo o nada. Su trabajo se basó en el de John Hopfield, quien fue una figura clave en la investigación de las características matemáticas de las funciones de activación sigmoideas.
Desde finales de la década de 1980 hasta mediados de la década de 1990, el conexionismo adoptó un tono casi revolucionario cuando investigadores como Schneider, Terence Horgan y Tienson plantearon la cuestión de si el conexionismo representaba un cambio fundamental en la psicología y en la llamada inteligencia artificial clásica. Algunas ventajas del enfoque conexionista de la segunda oleada incluían su aplicabilidad a una amplia gama de funciones, la aproximación estructural a las neuronas biológicas, los bajos requisitos de estructura innata y la capacidad de degradación gradual. Sus desventajas incluían la dificultad para descifrar cómo las redes neuronales artificiales procesan la información o explican la composicionalidad de las representaciones mentales, y una dificultad resultante para explicar fenómenos a un nivel superior.
La tercera oleada y el aprendizaje profundo
La tercera oleada actual ha estado marcada por avances en el aprendizaje profundo, que han hecho posible la creación de grandes modelos de lenguaje. El éxito de las redes de aprendizaje profundo en la última década ha aumentado enormemente la popularidad de este enfoque, pero la complejidad y escala de dichas redes ha traído consigo mayores problemas de interpretabilidad. Arquitecturas modernas como el Transformer (architecture) han impulsado el progreso en Generative AI, con modelos desarrollados en organizaciones como OpenAI, Anthropic y Google DeepMind. Estos sistemas se basan en principios conexionistas pero operan a escalas mucho más allá de las redes tempranas, con miles de millones de parámetros entrenados en vastos conjuntos de datos utilizando hardware especializado de empresas como NVIDIA y AMD.