LLaMA：开源大模型浪潮
Meta 发布 LLaMA 模型，开启开源大语言模型的新时代。
事件概述
2023年2月，Meta AI 发布了 LLaMA（Large Language Model Meta AI）系列模型，包括70亿到650亿参数的多个版本。虽然这些模型仅用于研究目的，但很快被泄露到网上，引发了开源社区的创新热潮。LLaMA 展示了较小参数模型经过充分训练可以达到优秀性能，挑战了"越大越好"的范式。以 LLaMA 为基础，社区迅速发展出 Alpaca、Vicuna、WizardLM 等众多微调模型，推动了开源大模型生态的繁荣发展。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
LLaMA 由 Meta AI 于 2023 年 2 月 24 日发布（论文《LLaMA: Open and Efficient Foundation Language Models》）。当时顶级大模型多为闭源且需庞大算力，研究者难以触及。Meta 的动机是「用更少参数、更多数据」训练出可与 GPT-3 等媲美的基础模型，并把开放权重交给学术界做可复现研究。LLaMA 提供 7B/13B/33B/65B 四种规模，65B 与 33B 在 1.4 万亿 token 上训练、7B 也在 1 万亿 token 上训练，仅用公开数据。发布后一周内权重意外泄露，反而点燃了开源 LLM 生态的爆发式增长。与完全闭源、仅提供 API 的 GPT-3 不同，LLaMA 选择把权重开放给研究者，这一路线后来被 LLaMA 2 进一步放开为可商用，深刻改变了开源大模型的格局。
核心要点
- 1提供 7B/13B/33B/65B 开放权重，小模型也能跑在普通研究设备上。
- 213B 版本在多数基准上超过 10 倍大的 GPT-3（175B），验证「小模型多数据」路线。
- 3完全使用公开数据集训练（Common Crawl、C4、GitHub、维基百科、arXiv 等），不含任何专有数据。
- 4模型架构上采用 decoder-only Transformer，并融合 RMSNorm、SwiGLU、RoPE 等多种经过验证的改良组件。
- 5权重发布仅一周内便泄露，催生了 Alpaca、Vicuna 等数百个微调衍生模型。
- 6LLaMA 2（2023年7月）转向可商用授权，把开放权重正式推向产业应用。
原理与技术细节
LLaMA 沿用了 GPT 系列 decoder-only Transformer 主干，但集成了几项彼时已验证有效的组件：用 RMSNorm 做预归一化稳定训练，用 SwiGLU 激活函数替代传统 FFN 提升表达力，用旋转位置编码（RoPE）注入位置信息。这些设计此前分散在不同模型里，LLaMA 是首个把它们组合进同一广为分发模型族的工作之一。训练策略上它遵循「Chinchilla 缩放定律」：与其把模型做得更大，不如在更多 token 上训练较小模型——所以 7B 也喂了 1 万亿 token，65B 喂了 1.4 万亿。数据来自公开网页、代码、百科与论文，覆盖 20 种使用拉丁/西里尔字母的语言。开放权重让社区得以量化、微调、本地部署，是开源 LLM 浪潮的起点。
影响与后续
LLaMA 证明了「开放权重 + 高效训练」足以逼近闭源巨头，深刻改变了大模型格局：泄露的权重让全球研究者第一次能自由微调顶尖基座，Alpaca、Vicuna、中文羊驼等衍生模型层出不穷；LLaMA 2 更以可商用协议把开源模型送进企业。它推动了「小模型本地化部署」「模型量化」等技术普及，也引发对开源模型安全与滥用的担忧。如今 LLaMA 系列已成为最具影响力的开放权重谱系之一。
学习要点
- 「小模型 + 更多数据」可逼近大模型，缩放定律不只关乎参数量。
- 开放权重（即便意外泄露）能释放远超闭源 API 的研究与创新能力。
- 成熟组件的巧妙组合，往往比全新架构更实用、更易复现。
- 开源与可商用的边界，正成为大模型治理的关键议题。
术语表
把训练好的模型参数公开下载，使用者可自由微调、量化与部署，区别于仅提供 API 的闭源服务。
用旋转矩阵把位置信息编码进注意力，使模型更好感知 token 顺序与相对距离。
描述模型性能随参数、数据、算力等规模平滑变化的经验规律，用以指导训练资源配置。