逻辑回归是一种用于二分类的统计和机器学习方法，其目标是根据一个或多个输入特征预测两种可能结果之一。尽管名称中带有“回归”，但它本质上是一种分类算法，而非传统意义上的回归算法。它通过将逻辑函数应用于特征的线性组合，来建模给定输入属于某一特定类别的概率。输出是介于0和1之间的值，可通过设定阈值进行二分类决策。逻辑回归是机器学习中的基础技术，通常是入门课程中教授的第一个分类模型，因其简单性、可解释性以及在线性可分数据上的强大表现而备受青睐。
逻辑回归的起源可追溯至19世纪中叶，逻辑函数本身由Pierre François Verhulst于1844年引入，用于建模人口增长。现代统计形式的逻辑回归在20世纪50年代和60年代发展起来， notably由David Cox于1958年提出，随后D. R. Cox等人进一步完善。在机器学习背景下，逻辑回归在20世纪90年代和2000年代成为主流，尤其用于文本分类和垃圾邮件检测。它至今仍广泛应用于医学、经济学和社会科学等领域，这些领域重视可解释性和概率输出。
数学表述
逻辑回归的核心是逻辑函数，也称为S形函数，定义为σ(z) = 1 / (1 + e^(-z))。对于给定的输入向量x，权重w和偏置b，模型计算z = w·x + b，然后应用S形函数得到预测概率p = σ(z)。决策边界出现在p = 0.5处，对应于z = 0。模型参数w和b通过最大化观测结果的似然性从数据中学习，通常使用梯度下降或其他优化算法。
训练中使用的损失函数是二元交叉熵（对数损失），它衡量预测概率与真实标签之间的差异。对于包含N个样本的数据集，损失为L = -1/N Σ [y_i log(p_i) + (1 - y_i) log(1 - p_i)]，其中y_i是真实标签（0或1）。最小化此损失等同于最大化对数似然。与使用最小二乘法的线性回归不同，逻辑回归使用最大似然估计，这在一定条件下提供了诸如一致性和有效性等理想的统计性质。
与线性模型的关系
逻辑回归是一种线性模型，因为其决策边界是输入特征的线性函数。然而，与预测连续值的线性回归不同，逻辑回归预测概率。这是通过将线性输出通过逻辑函数（非线性）进行变换实现的。该模型可通过添加多项式特征或使用核方法来处理非线性关系，但核心模型在参数上仍是线性的。
在机器学习的更广泛领域中，逻辑回归常与其他线性分类器（如支持向量机（SVM）和感知机）进行比较。SVM旨在最大化类别间的间隔，而逻辑回归提供概率输出且自然校准。这使得它在需要置信度度量的决策中特别有用，例如在医学诊断或信用评分中。逻辑回归还作为更复杂模型的构建块，包括神经网络，在其中用作二分类任务输出层的激活函数。
训练与优化
训练逻辑回归模型涉及找到最小化交叉熵损失的权重。这通常通过迭代优化算法完成，其中梯度下降最为常见。在梯度下降中，权重沿损失相对于权重的负梯度方向更新。学习率控制步长，随机梯度下降（SGD）和小批量梯度下降等变体用于大型数据集。
为防止过拟合，尤其是在特征数量较多时，常应用正则化。常见的正则化技术包括L1（Lasso）和L2（Ridge）正则化，它们向损失函数添加惩罚项。L1正则化鼓励稀疏性，将某些权重设为零，这可用于特征选择。L2正则化将权重向零收缩，但不将其精确设为零。在实践中，带有L2正则化的逻辑回归是许多分类问题的强基线。
在机器学习中的应用
逻辑回归广泛应用于各种场景。在医疗保健中，它用于根据症状和检测结果预测患者患病的可能性。在金融领域，它用于信用评分和欺诈检测。在市场营销中，它帮助预测客户流失或购买可能性。在自然语言处理中，逻辑回归用于情感分析和垃圾邮件检测，其中特征通常是词频或TF-IDF向量。
在人工智能背景下，逻辑回归常作为基线模型，用于与更复杂的算法进行比较。其简单性和可解释性使其成为理解特征与结果之间关系的宝贵工具。例如，在医学研究中，模型系数可解释为特征每变化一个单位时结果的对数几率，同时保持其他特征不变。这种可解释性是相对于深度神经网络等黑盒模型的关键优势。
扩展与变体
逻辑回归存在多种扩展，以处理多类分类和非线性边界。多项逻辑回归，也称为softmax回归，通过使用softmax函数将二元逻辑回归推广到多个类别。这在深度学习中常用于多于两个类别的分类任务。另一种变体是序数逻辑回归，用于类别具有自然顺序的情况，例如1到5的评分。
对于非线性问题，逻辑回归可与核方法结合，形成核逻辑回归。这允许模型通过将特征隐式映射到高维空间，在原始特征空间中找到非线性决策边界。然而，这种方法计算成本更高，且不如神经网络常见。在实践中，对于高度非线性问题，从业者通常转向神经网络或基于变换器的模型，这些模型可以从原始数据中学习复杂表示。
与神经网络的比较
逻辑回归可视为具有S形激活函数的单层神经网络。事实上，逻辑回归模型等价于没有隐藏层且只有一个输出神经元的神经网络。这一联系很重要，因为它桥接了经典统计学和现代深度学习。虽然具有隐藏层的神经网络可以建模复杂的非线性关系，但逻辑回归仍然是强大且高效的基线，尤其是在数据线性可分或可解释性至关重要时。
在大规模机器学习时代，逻辑回归仍用于许多生产系统，特别是在线广告和推荐系统，这些系统需要快速训练和推理。例如，逻辑回归常用于点击率预测，目标是预测用户点击广告的概率。尽管深度学习模型兴起，逻辑回归仍是许多表格数据问题的竞争性选择。
实践考虑
应用逻辑回归时，有几个实际考虑因素很重要。特征缩放通常是必要的，以确保梯度下降快速收敛，尤其是当特征具有不同尺度时。处理缺失值和异常值也至关重要，因为逻辑回归对极端值敏感。此外，该模型假设结果的对数几率与特征线性相关，这在实践中可能不成立。在这种情况下，可能需要特征工程或使用更灵活的模型。
逻辑回归模型的评估通常涉及准确率、精确率、召回率、F1分数和ROC曲线下面积（AUC）等指标。AUC特别有用，因为它衡量模型在所有阈值下区分类别的能力，独立于所选决策阈值。校准是另一个重要方面；逻辑回归输出自然校准良好，意味着预测概率为0.8对应于长期实际频率约为80%。
历史背景与影响
逻辑回归的发展受到统计学家如托马斯·迪特里希和迈克尔·乔丹的影响，他们为其融入机器学习做出了贡献。迈克尔·乔丹以在概率图模型以及统计学与机器学习之间联系方面的工作而闻名。逻辑回归也是斯坦福人工智能实验室和麻省理工学院计算机科学与人工智能实验室等机构课程中的基础主题，用于向学生介绍分类和概率建模。
在人工智能的更广泛历史中，逻辑回归先于许多现代技术，但至今仍具相关性。它常被用作评估新算法的基准。例如，当提出新的分类方法时，通常与逻辑回归进行比较以展示改进。这种持久的相关性证明了该模型的简单性、有效性和可解释性。
结论
逻辑回归是统计建模和机器学习的基石。其提供概率预测的能力，加上可解释性和效率，使其成为二分类的多功能工具。虽然深度神经网络等更复杂的模型在许多领域取得了最先进的结果，但逻辑回归继续作为有价值的基线和许多现实世界问题的实用解决方案。理解逻辑回归对于任何学习机器学习的人来说都是必不可少的，因为它为神经网络和概率图模型等更高级主题奠定了基础。