跳至正文
返回首页
2014模型

VGGNet:深层卷积网络

牛津大学 VGG 团队提出 VGGNet,证明小卷积核堆叠可以构建更深的网络。

事件概述

2014年,牛津大学视觉几何组(VGG)的 Karen Simonyan 和 Andrew Zisserman 发表了 VGGNet。该网络的核心思想是使用多个小尺寸(3×3)卷积核堆叠来替代大尺寸卷积核,在保持相同感受野的同时增加网络深度和非线性。VGG-19 网络深度达到19层,在 ImageNet 挑战赛中获得亚军。VGGNet 的设计原则简单优雅,其预训练权重成为计算机视觉任务的常用初始化参数,深刻影响了后来的网络架构设计。

深度学习笔记

背景、原理、影响与要点,一次读懂这个事件

约 4 分钟读完

背景与脉络

2014 年,牛津大学视觉几何组(Visual Geometry Group)的 Karen Simonyan 与 Andrew Zisserman 发表《Very Deep Convolutional Networks for Large-Scale Image Recognition》,提出 VGG 网络。当时 ImageNet 竞赛的潮流是用更大的卷积核(11×11、7×7)与复杂拓扑换取感受野,而 VGG 反其道而行:全部使用 3×3 小卷积核堆叠,把网络深度推到 16—19 层,在 ILSVRC-2014 上取得分类亚军与定位冠军。这篇论文最著名的不是名次,而是一个至今仍在影响架构设计的原则:用统一、极简的组件堆出深度,让深度本身成为主要的性能来源。VGG 的预训练权重此后多年都是迁移学习的默认起点。

核心要点

  • 12014 年牛津 VGG 组提出,用统一的 3×3 卷积核把网络堆到 16—19 层。
  • 2两个 3×3 卷积的感受野等于一个 5×5,三个等于 7×7,但参数更少、非线性更多。
  • 3在 ILSVRC-2014 分类任务获亚军、定位任务夺冠。
  • 4结构极其规整,成为后续架构设计与迁移学习的基准参照。
  • 5VGG-16/19 预训练权重长期是视觉任务特征提取的默认选择。

原理与技术细节

VGG 的关键计算是感受野账目。一个 k×k 卷积若由 n 个 3×3 堆叠替代,感受野从 k 扩大到 k+2(n−1),而参数量从 k² 降到 n×9——例如 7×7 需要 49 个参数,三个 3×3 只需 27 个。更重要的是每个 3×3 之后都可以接一个 ReLU,判别函数随深度指数级增强,而单个大卷积只有一个非线性。VGG 的完整结构是「若干卷积块 + 最大池化 + 三个全连接层」,卷积通道数逐块翻倍(64→128→256→512),输入 224×224 图像,VGG-16 约 1.38 亿参数,VGG-19 约 1.44 亿——绝大部分参数集中在全连接层。它还用了一个当时重要、后来被 BN 与残差连接继承的工程手段:先训练浅层配置,再用其权重初始化更深的配置,缓解深层网络难以训练的问题。

影响与后续

VGG 的历史角色是「确定设计空间」。在 AlexNet 证明深度可行之后,VGG 用极简配方证明了深度的红利可以单纯靠堆叠获得,直接铺平了通往 ResNet 的道路。它的规整结构还带来一个意外遗产:VGG 的中间激活被广泛用于风格迁移(Gatys 等人的神经风格迁移用的正是 VGG-19 特征),因为均匀堆叠的层级天然对应从纹理到语义的特征谱系。局限同样明显:参数量巨大、全连接层占绝大部分,推理慢、显存占用高,与 ResNet 同年出现后迅速被更高效的架构取代。作为特征提取器,VGG 至今仍出现在大量视觉研究与复现基线中。

学习要点

  • 小核堆叠在同等感受野下参数更少、非线性更多,是深度网络的通用配方。
  • 架构的价值不仅在排行榜名次,也在可复用性与作为基准的生命力。
  • 由浅到深的权重继承是早期训练深层网络的有效工程手段。
  • 全连接层是参数与计算的黑洞,后来的网络用全局池化将其移除。

术语表

感受野Receptive Field

输出特征图中一个点对应的输入图像区域大小,决定网络能看到的空间范围。

迁移学习Transfer Learning

用在大数据集上预训练的权重初始化新任务,大幅减少样本与训练成本。

ILSVRCILSVRC (ImageNet Large Scale Visual Recognition Challenge)

基于 ImageNet 的年度视觉竞赛,2010-2017 年间是深度学习架构进步的主要擂台。

相关事件