支持向量机（SVM）
Vapnik 等人完善 SVM 理论，成为机器学习领域最重要的算法之一。
事件概述
支持向量机由 Vladimir Vapnik 和同事在1990年代发展成熟，成为统计学习理论的代表性成果。SVM 通过寻找最大间隔超平面来划分不同类别的数据，具有良好的泛化能力和理论基础。核技巧的引入使 SVM 能够处理非线性分类问题，将数据映射到高维空间后线性可分。在神经网络处于低谷的时期，SVM 成为机器学习的主流方法，广泛应用于文本分类、图像识别、生物信息学等领域。SVM 的成功也推动了核方法和统计学习理论的发展。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
支持向量机的思想源头可追溯至 1960 年代 Vapnik 与 Chervonenkis 的统计学习理论（VC 维）。1992 年，Vapnik 与 Boser、Guyon 提出核技巧，使线性分类器能处理非线性问题。1995 年，Corinna Cortes 与 Vladimir Vapnik 在《Machine Learning》发表《Support-Vector Networks》，给出带软间隔的非线性 SVM，并成功用于手写字符识别。SVM 建立在「结构风险最小化」之上，目标是在训练精度与模型复杂度之间取得平衡，以最大化泛化能力，在深度学习兴起前主宰了机器学习界近二十年。
核心要点
- 1SVM 寻找最大化类别间隔（margin）的分离超平面，间隔越大越易泛化。
- 2核技巧把输入隐式映射到高维空间，使非线性问题线性可分。
- 3软间隔允许少量误分类，用松弛变量平衡间隔与误差。
- 4理论根基是 VC 维与结构风险最小化，强调泛化而非仅拟合训练集。
- 51990 年代至深度学前，SVM 是分类任务的主流算法。
原理与技术细节
SVM 的核心是在特征空间里找一个超平面 w·x + b = 0 把两类分开，并让离它最近的样本（支持向量）到平面的距离最大——这就是最大间隔。这些边界上的样本决定了超平面，移除其他样本不影响结果，因此 SVM 是「稀疏」的。当数据线性不可分时，核技巧上场：它不显式计算高维映射 φ(x)，而是通过核函数 k(x,x’) = φ(x)·φ(x’) 直接给出高维空间的内积，从而在不增加计算量的情况下做非线性分类（常用高斯核）。现实中数据难免有噪声，「软间隔」引入松弛变量 ξ 与惩罚系数 C，允许个别样本越界，代价是在目标函数里被计入。最终问题转化为一个凸二次规划，存在唯一全局最优解。
影响与后续
SVM 凭借清晰的理论、可证明的泛化界与核技巧，在 1990 年代末至 2000 年代成为文本分类、生物信息、手写识别等领域的主流，并推动了核方法研究。它的局限是会随样本数呈平方级计算开销，难以处理超大规模数据与原始高维输入（如图像像素），且需人工选择核与超参。深度学习的端到端表示学习最终在许多任务上取代了它。
学习要点
- 最大化间隔等价于最大化置信，是 SVM 泛化能力的来源。
- 核技巧是「隐式升维」的典范，避免显式高维计算的灾难。
- 凸优化带来全局最优，是 SVM 相比神经网的一大理论优势。
- 统计学习理论提醒我们：泛化比训练拟合更重要。
术语表
SVM 追求的两类样本到分离超平面的最小距离最大化，间隔越大通常泛化越好。
通过核函数直接算高维空间内积，从而在不显式升维的情况下做非线性分类。
衡量模型复杂度的指标，是统计学习理论量化泛化能力的基础。