深度信念网络：深度学习复兴
Geoffrey Hinton 提出深度信念网络，开创深度学习训练的有效方法。
事件概述
2006年，Geoffrey Hinton 在《Science》杂志发表论文，提出深度信念网络（DBN）及其逐层预训练方法。Hinton 展示了如何通过受限玻尔兹曼机（RBM）的堆叠来构建深度网络，并使用无监督逐层预训练来解决深度神经网络的训练难题。这一工作被视为深度学习复兴的起点，打破了长期以来深度神经网络难以训练的困境。虽然预训练方法后来被更好的初始化和正则化技术取代，但 Hinton 的工作重新点燃了学术界对深度神经网络的兴趣，为 AlexNet 的成功奠定了思想基础。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
20 世纪 90 年代到 2000 年代初，深层神经网络虽在理论上被看好，但训练极其困难：反向传播在多层网络中容易遭遇梯度消失/爆炸，加上算力与数据有限，浅层模型与支持向量机长期主导学界，神经网络研究一度陷入低潮。2006 年，多伦多大学的 Geoffrey Hinton 与 Simon Osindero、Yee-Whye Teh 在《Neural Computation》发表《A Fast Learning Algorithm for Deep Belief Nets》，提出用「逐层贪心预训练」训练由多个受限玻尔兹曼机堆叠而成的深度信念网络，证明深层网络可以被有效训练，被视为现代深度学习复兴的起点，也重新点燃了对神经网络的信心。
核心要点
- 1Hinton 等人 2006 年提出逐层贪心预训练，让深层网络首次可被有效训练。
- 2深度信念网络由多个受限玻尔兹曼机堆叠而成，是一种生成式概率模型。
- 3预训练借助对比散度（CD）逐层进行，是无监督的表示学习。
- 4顶层两层构成无向联想记忆，下层为自顶向下的有向信念网络。
- 5在 MNIST 上达到约 1.25% 错误率，优于当时最佳的判别模型。
- 6该工作让「深度本身具有价值」被广泛接受，标志深度学习时代开启。
原理与技术细节
深度信念网络的核心思路是「先逐层学表示，再整体精调」。受限玻尔兹曼机（RBM）是一种两层无向图模型，可视层接收数据、隐藏层提取特征，通过对比散度（CD）学习让隐藏激活能较好地重建输入。训练时，先拿原始数据训练第一层 RBM；把它输出的隐藏激活当作「新数据」，再去训练第二层 RBM；如此逐层堆叠，每一层都在上一层学到的抽象表示之上构建更高层的特征。堆叠完成后，整个网络可用反向传播或 wake-sleep 算法做有监督精调。打个比方：第一层学会「边缘」，第二层把边缘组合成「角与轮廓」，更高层再组合成「部件与整体」。其理论依据是「互补先验」——在合适的权值捆绑下，每加一层都不会降低数据对数似然的变分下界，因此逐层贪心预训练能给出良好的初始参数，绕开了直接训练深层网络时梯度难以传播的问题。
影响与后续
深度信念网络与逐层预训练在 2006 年前后重新点燃了学界对深层网络的兴趣，让「深度学习」一词重回主流并普及开来，被视为现代深度学习复兴的里程碑。2012 年前后，随着 ReLU、Dropout、更好的初始化和 GPU 算力成熟，逐层预训练在监督视觉任务中逐渐被端到端训练取代，但它在生成模型、无监督表示学习上的思想影响深远。其局限在于训练较复杂、对超参数敏感，且后续实践证明「好初始化 + 现代优化」往往比预训练更简洁有效，因此 DBN 如今更多作为历史与概念基石被记取。
学习要点
- 深度网络的瓶颈往往不在架构本身，而在训练方法——好的初始化能解锁深度。
- 逐层无监督预训练是一种绕过梯度消失、为深层网络找好起点的实用策略。
- 互补先验与变分下界为「堆叠为何有效」提供了理论解释。
- 一个领域的复兴常依赖一个可复现的关键实验（如 MNIST 上的突破）。
术语表
一种两层无向概率图模型，可视层与隐藏层内部无连接，常用对比散度学习，可作为深度信念网络的基本堆叠单元。
由 Hinton 提出的 RBM 高效近似训练方法，用少量吉布斯采样步近似最大似然梯度，使预训练切实可行。
先逐层独立训练每个模块、再用整体精调的初始化策略，用以缓解深层网络直接训练时的困难。