Word2Vec：词嵌入革命
Google 的 Tomas Mikolov 发布 Word2Vec，开创词嵌入技术的新时代。
事件概述
2013年，Google 的 Tomas Mikolov 团队发布了 Word2Vec 工具，这是一种将词语映射到连续向量空间的高效方法。Word2Vec 使用浅层神经网络学习词语的分布式表示，能够捕获词语之间的语义关系。最令人惊叹的是，这些词向量展现出"类比推理"能力：king - man + woman ≈ queen。Word2Vec 的训练效率极高，能够在海量文本上快速训练，使词嵌入成为 NLP 的标准预处理步骤。这一工作深刻影响了后来的语言模型发展，为 BERT、GPT 等预训练模型奠定了概念基础。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
在 word2vec 之前，自然语言处理多用稀疏高维的 one-hot 或 TF-IDF 表示，词与词之间相互独立、无法体现语义关联；早期神经网络语言模型虽能学到稠密向量，但训练代价高昂。2013 年，Google 的 Tomas Mikolov 等人发表两篇论文，提出 word2vec：用极简的浅层网络从海量无标注文本中高效学习词的稠密向量表示。它把「分布式语义假设」（词的意义由上下文决定）工程化为可规模化的工具，使词向量成为 NLP 的通用基础设施，并催生了「词即几何」的研究范式。
核心要点
- 1Mikolov 等人 2013 年提出 word2vec，用浅层网络从文本高效学习词向量。
- 2提供两种架构：CBOW（由上下文预测中心词）与 Skip-gram（由中心词预测上下文）。
- 3第二篇论文引入负采样与高频词子采样，使十亿级语料训练切实可行。
- 4著名性质：向量算术 king − man + woman ≈ queen 体现语义/语法关系。
- 5训练无需标注数据，是低成本、可迁移的表示学习。
- 6开源 C 实现与预训练模型使其迅速成为 NLP 标配组件。
原理与技术细节
word2vec 的核心是「用上下文预测词」的极简预测游戏，包含两种架构。Skip-gram 给定中心词，预测其上下文窗口内的词，并对邻近词赋予更高权重；CBOW 则反过来，把上下文词向量求和后预测中心词（顺序不重要，故称「词袋」）。二者都共享一个嵌入矩阵，把每个词映射为低维向量，训练目标是最大化正确上下文/词的出现概率。关键在于输出层：若对每个词都做全词表 Softmax，代价随词表线性膨胀。负采样把它改成一个二分类——区分「真实的上下文词对」与「随机抽出的噪声词对」，每次只更新少量权重，从而能在数十亿词上一天内训完。训练后，上下文相似的词在向量空间中彼此靠近，向量加减自然浮现出类比关系。
影响与后续
word2vec 让高质量词向量成为可廉价获取、可跨任务迁移的「commodity」，几乎成为 2010 年代所有 NLP 系统的默认依赖，并启发了 GloVe、fastText、item2vec 乃至 BERT、CLIP 等后续工作：先让符号变成几何，再让更深的模型在其上构建。它也在推荐、信息检索、生物序列等非语言领域被借用到。局限是得到的词向量是「上下文无关」的——一词多义被压成单一向量；这一缺陷后来由 ELMo、BERT 等上下文嵌入解决。但 word2vec 作为教学与工业基线，地位依然稳固。
学习要点
- 分布式语义假设可工程化为极简、可规模化的表示学习工具。
- 负采样是把「大词表 Softmax」变为可行训练的关键技巧。
- 好的向量空间能承载语义与语法关系，使「意义即几何」可被计算。
- 一词多义等局限，提示了从静态向量走向上下文嵌入的必然。
术语表
将词映射为低维稠密向量的表示，使语义相近的词在向量空间中也相近。
用「真实词对 vs 随机噪声词对」的二分类近似 Softmax，大幅降低大词表训练开销。
Firth 提出的观点：一个词的意义由它经常共现的上下文决定（「观其伴而知其义」）。