LeCun 卷积神经网络手写识别
Yann LeCun 在贝尔实验室开发卷积神经网络，成功应用于手写数字识别。
事件概述
1989年，Yann LeCun 在 AT&T 贝尔实验室开发了用于手写数字识别的卷积神经网络。这一工作融合了福岛邦彦的 Neocognitron 架构和反向传播算法，创造了现代卷积神经网络（CNN）的原型。LeCun 设计的架构包含卷积层、池化层和全连接层，能够自动学习图像特征而无需人工设计。这一系统后来发展为 LeNet-5，在1990年代被广泛应用于美国银行支票读取和邮政编码识别。LeCun 的工作证明了神经网络在实际工业应用中的价值，为后来深度学习在计算机视觉领域的爆发奠定了基础。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
20 世纪 80 年代末，手写字符识别主要依赖人工设计特征加分类器的两阶段流程，脆弱且受限于设计者直觉。Yann LeCun 与贝尔实验室（AT&T Bell Labs）的同事在 1989 年发表《Backpropagation Applied to Handwritten Zip Code Recognition》，首次将反向传播端到端地用于真实邮政手写数字识别。论文用来自美国水牛城邮局信封的近万张数字图像训练网络，直接以原始像素为输入，让网络自己学特征。这被视为卷积神经网络走向实用化的开端——尽管更早的 NETtalk（1987）已用反向传播做语音合成，但这是图像分类领域首个大规模成功应用。
核心要点
- 1首个端到端、大规模的反向传播手写数字识别实用系统。
- 2直接从原始像素学习，摒弃人工设计的特征提取器。
- 3引入权值共享、局部感受野与下采样（池化）等 CNN 核心思想。
- 4在真实邮政数据上取得约 5% 测试错误率，拒绝后可降至约 1%。
- 5成为现代卷积神经网络与 LeNet-5 的直接前身。
原理与技术细节
该网络把几何先验直接写进结构：一是局部感受野，神经元只连接输入的 5×5 小区域，模拟视觉皮层；二是权值共享，同一特征图内所有神经元使用同一组权重在不同位置滑动，于是「一条竖线在哪儿都是竖线」，既保证平移不变又大幅减少参数；三是下采样（池化），对特征图做局部平均与降采样，使表示对微小位移与形变更鲁棒。输入图像先归一化到固定尺寸并缩放到 -1 到 1，再依次通过卷积、池化交替的若干隐藏层，最后由全连接层分类。论文还用「最优脑损伤」(Optimal Brain Damage) 剪枝，把独立参数压到约 2600 个。如此，近十万个连接却只有极少独立参数，既学到特征又避免过拟合。
影响与后续
这项工作证明卷积结构能从原始像素端到端学到判别特征，为 1998 年的 LeNet-5 与 MNIST 基准铺平道路，也预示了深度学习「以架构注入先验」的设计哲学。其局限在于网络仍浅、依赖大规模标注与算力，且当时多数研究者更看好支持向量机。直到 2012 年 AlexNet，CNN 才全面爆发。
学习要点
- 架构本身可以承载先验知识（如平移不变），是一种正则化。
- 权值共享是减少参数、避免过拟合的关键技巧。
- 端到端学习特征通常优于手工特征工程。
- 一项技术的真正落地，往往要等数据、算力与生态齐备。
术语表
同一特征图内神经元复用同一组权重在不同位置提取特征，减少参数并带来平移不变性。
神经元只连接输入局部小区域而非全图，模拟生物视觉并降低连接数。
对特征图做局部平均或最大化的降维操作，使表示对位移与形变更鲁棒。