A regressão linear é um modelo estatístico que estima a relação entre uma resposta escalar (variável dependente) e uma ou mais variáveis explicativas (regressores ou variáveis independentes). Um modelo com exatamente uma variável explicativa é chamado de regressão linear simples; um modelo com duas ou mais variáveis explicativas é chamado de regressão linear múltipla. Este termo é distinto da regressão multivariada, que prevê múltiplas variáveis dependentes correlacionadas, em vez de uma única variável dependente.
As relações na regressão linear são modeladas usando funções preditoras lineares cujos parâmetros desconhecidos são estimados a partir dos dados. Mais comumente, assume-se que a média condicional da resposta, dados os valores das variáveis explicativas, é uma função afim desses valores; menos comumente, usa-se a mediana condicional ou algum outro quantil. Como todas as formas de análise de regressão, a regressão linear foca na distribuição de probabilidade condicional da resposta, dados os preditores, em vez da distribuição de probabilidade conjunta de todas as variáveis, que é o domínio da análise multivariada.
A regressão linear também é um tipo de aprendizado de máquina, especificamente um algoritmo supervisionado, que aprende a partir de conjuntos de dados rotulados e mapeia pontos de dados para uma função linear otimizada que pode ser usada para previsão em novos conjuntos de dados. Foi o primeiro tipo de análise de regressão a ser estudado rigorosamente e usado extensivamente em aplicações práticas, porque modelos que dependem linearmente de seus parâmetros desconhecidos são mais fáceis de ajustar do que modelos não lineares, e as propriedades estatísticas dos estimadores resultantes são mais fáceis de determinar.
Desenvolvimento Histórico
O método dos mínimos quadrados, que é central para a regressão linear, foi publicado pela primeira vez por Adrien-Marie Legendre em 1805 e, independentemente, por Carl Friedrich Gauss em 1809. Gauss afirmou ter usado o método desde 1795, e seu trabalho estabeleceu a base teórica para a distribuição normal e o teorema de Gauss-Markov. As primeiras aplicações incluíam cálculos astronômicos, geodésia e a previsão de órbitas planetárias. No final do século XIX, a regressão linear já era uma ferramenta padrão nas ciências sociais e biológicas, particularmente através do trabalho de Francis Galton, que introduziu o termo "regressão" no contexto da hereditariedade, e de Karl Pearson, que formalizou a análise de correlação e regressão.
No século XX, o desenvolvimento de métodos computacionais e a ascensão da estatística como disciplina expandiram a aplicabilidade da regressão linear. A introdução da notação matricial e do modelo linear geral por Ronald Fisher na década de 1920 unificou a regressão com a análise de variância. Mais tarde, a disponibilidade de computadores eletrônicos nas décadas de 1950 e 1960 tornou viável o ajuste de grandes modelos de regressão, levando ao uso generalizado em economia, engenharia e ciências naturais.
Formulação Matemática
Dado um conjunto de dados com n unidades estatísticas, um modelo de regressão linear assume que a relação entre a variável dependente y e o vetor de regressores x é linear. Essa relação é modelada através de um termo de perturbação ou erro ε, uma variável aleatória não observada que adiciona ruído à relação linear. O modelo assume a forma:
y_i = β_0 + β_1 x_i1 + ... + β_p x_ip + ε_i = x_i^T β + ε_i, para i = 1, ..., n,
onde β é um vetor de parâmetros desconhecidos, e x_i^T β é o produto interno entre os vetores x_i e β. Frequentemente, essas n equações são empilhadas em notação matricial como y = Xβ + ε, onde X é uma matriz de delineamento n × (p+1).
Os parâmetros β são tipicamente estimados minimizando uma função de custo. A abordagem mais comum é o método dos mínimos quadrados ordinários (MQO), que minimiza a soma dos quadrados dos resíduos. O estimador de MQO tem solução de forma fechada β_hat = (X^T X)^{-1} X^T y, desde que a matriz X^T X seja invertível. Sob as suposições de Gauss-Markov, o MQO é o melhor estimador linear não viesado (BLUE, na sigla em inglês).
Métodos de Estimação e Variantes
Os modelos de regressão linear são frequentemente ajustados usando a abordagem dos mínimos quadrados, mas também podem ser ajustados minimizando a falta de ajuste em outras normas, como a regressão por mínimos desvios absolutos, ou minimizando uma versão penalizada da função de custo dos mínimos quadrados. A regressão ridge adiciona uma penalidade da norma L2 aos coeficientes, o que os encolhe em direção a zero e ajuda com a multicolinearidade. O Lasso (Operador de Encolhimento e Seleção Absoluta Mínima, na sigla em inglês) adiciona uma penalidade da norma L1, que pode definir alguns coeficientes exatamente como zero, realizando seleção de variáveis. A rede elástica combina ambas as penalidades.
O uso do erro quadrático médio (EQM) como custo em um conjunto de dados com muitos valores atípicos (outliers) pode resultar em um modelo que se ajusta mais aos outliers do que aos dados verdadeiros, porque o EQM atribui maior importância a erros grandes. Portanto, funções de custo robustas a outliers, como a perda de Huber ou a regressão quantílica, devem ser usadas se o conjunto de dados tiver muitos valores atípicos. Por outro lado, a abordagem dos mínimos quadrados pode ser usada para ajustar modelos que não são lineares, como a regressão polinomial, transformando os preditores. Assim, embora os termos "mínimos quadrados" e "modelo linear" estejam intimamente ligados, eles não são sinônimos.
Aplicações em Previsão e Inferência
A regressão linear tem muitos usos práticos, que se enquadram em duas categorias amplas. Primeiro, se o objetivo é previsão ou previsão de tendências, a regressão linear pode ajustar um modelo preditivo a um conjunto de dados observado, minimizando o erro ou a variância. Após desenvolver tal modelo, se valores adicionais das variáveis explicativas forem coletados sem um valor de resposta correspondente, o modelo ajustado pode ser usado para prever a resposta. Isso é comum em campos como economia, finanças e ciências ambientais.
Segundo, se o objetivo é explicar a variação na variável resposta, a análise de regressão linear pode quantificar a força da relação entre a resposta e as variáveis explicativas. Ela pode determinar se algumas variáveis explicativas não têm relação linear com a resposta, ou identificar quais subconjuntos de variáveis explicativas contêm informações redundantes. Isso é amplamente utilizado em ciências sociais, epidemiologia e análise de marketing.
A regressão linear também serve como um bloco de construção fundamental no aprendizado de máquina. É um modelo simples e interpretável, frequentemente usado como linha de base para algoritmos mais complexos. Muitas técnicas modernas, como redes neurais e aprendizado profundo, podem ser vistas como generalizações de modelos lineares. No aprendizado supervisionado, a regressão linear é usada para tarefas de regressão, onde a saída é um valor contínuo, e é frequentemente comparada a modelos mais flexíveis, como árvores de decisão ou máquinas de vetores de suporte.
Limitações e Extensões
A regressão linear assume uma relação linear entre a resposta e os preditores, o que pode não se manter em dados do mundo real. Ela é sensível a outliers e pode sofrer de sobreajuste (overfitting) se o número de preditores for grande em relação ao número de observações. A multicolinearidade entre os preditores pode inflar a variância das estimativas dos coeficientes. Para lidar com essas questões, extensões como regressão polinomial, modelos lineares generalizados (MLGs) e métodos de regularização foram desenvolvidos.
Apesar dessas limitações, a regressão linear continua sendo uma das ferramentas estatísticas mais amplamente utilizadas. Sua interpretabilidade e eficiência computacional a tornam um pilar tanto na estatística quanto nos currículos de aprendizado de máquina. A partir da década de 2020, ela continua sendo uma técnica fundamental na ciência de dados, frequentemente servindo como um primeiro passo na análise exploratória e como referência para modelos mais complexos.