sbraveyoung · 字里行间
2026-04-26 10:05:00 · 1642 字 · 7 min

AI 入门到精通 05 · 大语言模型 (LLM)

当前 AI 浪潮的中心。GPT / Claude / Gemini / Qwen / DeepSeek / Llama —— 看似五花八门，本质是同一个范式：Decoder-only Transformer + Scale + 后训练对齐。

一、LLM 的"三板斧"范式

Pretrain  →  SFT  →  RLHF / DPO / RLVR
(海量文本    (指令对齐    (偏好/可验证奖励对齐)
 自监督)     微调)

理解这三步及其在过去两年的演化（特别是 2024-2025 的 RLVR / "推理模型" 范式），就抓住了 LLM 的主线。

二、必须吃透的概念

2.1 架构

  • Decoder-only Transformer：主流（GPT / Llama / Qwen / DeepSeek 全是）。Encoder-only (BERT) 现在主要做 embedding。
  • Tokenization：BPE / WordPiece / SentencePiece / Tiktoken；中文 / 多语言 tokenizer 的取舍。
  • Position Encoding 的演进：sinusoidal → Learned → RoPE → ALiBi → YaRN（长上下文）。
  • 归一化：LayerNorm → RMSNorm（更省算力）。
  • 激活：ReLU → GeLU → SwiGLU。
  • Attention 优化：MHA → MQA → GQA → MLA (DeepSeek)。
  • Mixture-of-Experts (MoE)：稀疏激活，容量大但算力少（Mixtral / DeepSeek-V3 / Qwen3-MoE）。
  • Long Context：RoPE 外推、YaRN、滑窗注意力、Ring Attention、KV Cache 压缩。

2.2 训练范式

  • 预训练 (Pretraining)：next token prediction，对几 T-几十 T tokens 跑一遍。
    • 数据：CommonCrawl 清洗 / 代码 / 数学 / 多语言混合配比。
    • 数据质量 >> 数据数量（Phi 系列、FineWeb 都在证明这点）。
  • 持续预训练 (Continued Pretraining)：在领域 / 语言 / 长上下文上继续训。
  • SFT (Supervised Fine-Tuning)：用 (instruction, response) 对教模型听话。
  • 偏好对齐：
    • RLHF (Reinforcement Learning from Human Feedback)：奖励模型 + PPO，OpenAI 经典路线。
    • DPO (Direct Preference Optimization)：直接用偏好对优化，无需 reward model；当前社区主流。
    • RLVR (RL with Verifiable Rewards)：数学 / 代码等可验证答案做 reward；DeepSeek-R1 / OpenAI o1 / o3 路线，催生了"推理模型"。
  • 蒸馏 (Distillation)：大模型 → 小模型；当前小模型几乎都是蒸馏出来的。
  • 参数高效微调 (PEFT)：LoRA / QLoRA / IA³ / Adapter / Prefix Tuning；个人 / 小团队微调首选。

2.3 推理与解码

  • Greedy / Beam Search / Sampling；temperature / top-k / top-p / min-p 采样。
  • KV Cache：加速生成的核心；显存占用计算。
  • Speculative Decoding / Medusa / EAGLE：并行解码加速。
  • Constrained Decoding：JSON / 正则约束输出。
  • 结构化输出 / Function Calling：当前应用层的实操关键。

2.4 涌现能力与 Scaling

  • Scaling Laws：Kaplan (2020) → Chinchilla (2022) → DeepSeek scaling laws (2024)。
  • 涌现能力 (Emergent Abilities)：In-context learning、CoT、Few-shot 在某规模后突现。
  • Chain-of-Thought (CoT)：Prompt 让模型"想一步再答"。
  • Test-Time Compute：花更多推理算力换质量（o1 / R1 范式）。

2.5 评测

  • 基础：MMLU / MMLU-Pro / BBH / GSM8K / MATH / HumanEval / MBPP / HellaSwag。
  • 代码：SWE-Bench / LiveCodeBench / MultiPL-E。
  • 推理：AIME / GPQA / ARC-AGI。
  • Agent / 工具：τ-Bench / WebArena / OSWorld。
  • 多语言 / 中文：C-Eval / CMMLU / SuperCLUE。
  • 人评 + 排行榜：Chatbot Arena / LiveBench。
  • 重点意识：所有 benchmark 都会被「污染」/「过拟合」，看绝对值要慎重，看相对趋势更可靠。

三、提示工程 (Prompt Engineering)

  • 零样本 / 少样本提示 (Zero-shot / Few-shot)。
  • Chain-of-Thought / Self-Consistency / Tree-of-Thoughts。
  • ReAct / Toolformer 思想（接 chap 08）。
  • System Prompt 设计、角色扮演、防注入。
  • 输出格式控制：JSON Schema、structured output。

Prompt 工程是技能但不是学科，掌握基本套路即可，不要沉迷"咒语"。

四、参考资料

课程

  • Stanford CS324 LLM —— 系统课，课件免费。
  • Andrej Karpathy 《Let's build GPT》《Let's build the GPT Tokenizer》《Let's reproduce GPT-2 (124M)》 —— 必看必看。
  • Hugging Face NLP / RLHF Course。
  • DeepLearning.AI 短课 —— Prompt Engineering、Building LLM Apps、Function Calling 等系列。

必读论文清单

按学习顺序：

  1. Attention is All You Need (Vaswani 2017)
  2. BERT (Devlin 2018) / GPT-2 (Radford 2019) / GPT-3 (Brown 2020)
  3. Scaling Laws for Neural Language Models (Kaplan 2020)
  4. Chinchilla (Hoffmann 2022) — compute-optimal scaling
  5. InstructGPT (Ouyang 2022) — RLHF 起源
  6. Chain-of-Thought Prompting (Wei 2022)
  7. LLaMA / LLaMA 2 / 3 (Meta) — 开源 LLM 基线
  8. Mixtral 8x7B (2024) — MoE 落地代表
  9. DPO (Rafailov 2023) — 替代 RLHF
  10. DeepSeek-V3 / R1 (2024-2025) — 开源 SOTA、RLVR 范式
  11. o1 system card / Sky-T1 — 推理模型范式
  12. Llama 3.x / Qwen2.5 / Qwen3 / Claude 3.5 / 4.x / Gemini 2.x — 跟踪当下 SOTA

工程参考

  • HuggingFace transformers 源码。
  • vLLM / SGLang / TensorRT-LLM —— 推理引擎（chap 07）。
  • trl / OpenRLHF / veRL —— RL 训练框架。
  • unsloth —— 个人微调高效工具。
  • LLaMA-Factory —— 中文社区主流微调工具。

教材 / 长文

  • 《Speech and Language Processing》 Jurafsky & Martin (3rd, 免费 PDF) —— NLP 圣经。
  • Lilian Weng's blog (lilianweng.github.io) —— 每篇都是综述质量。
  • Sebastian Raschka 《Build a Large Language Model (From Scratch)》 —— 配套代码极清晰。

五、动手实践

  1. 复现 Karpathy 的 GPT-2 (124M) 训练（在 OpenWebText / FineWeb 上）。
  2. 从零写 BPE Tokenizer：理解为什么 GPT 看到 "strawberry" 数不清里面有几个 r。
  3. 微调实战：用 LLaMA-Factory 或 unsloth 在 Qwen2.5-7B 上做 LoRA SFT，喂自己的领域数据（个人 QA / 客服日志 / 法律文书）。
  4. DPO 微调：在 SFT 模型基础上做一轮 DPO，对比 SFT-only 的输出。
  5. 推理加速实战：把上一步的模型用 vLLM 部署，测吞吐 / 时延。
  6. Prompt 工程作业：给定一个真实任务（如「从一段中文中抽取人名地名时间」），不微调，纯靠 prompt + Few-shot + JSON 模式做到 95%+ 准确。
  7. Chatbot Arena 复刻：搭一个本地 UI 让你的微调模型和 baseline 模型盲评。
  8. 读 + 复现一篇前沿论文：自选 DeepSeek-V3 / Qwen3 / Llama 3 技术报告之一，写一篇万字解读。

六、通关标志

  • 能不查资料解释：什么是 KV Cache、为什么 GQA 比 MHA 省显存、RoPE 怎么外推。
  • 能讲清楚 SFT / DPO / RLHF / RLVR 的目标差异。
  • 自己微调过至少一个 7B+ 模型并部署给别人用。
  • 能读懂任意一篇大厂的 LLM 技术报告。
  • 能一句话说清"Scaling Law"是什么、对工程决策的影响。
  • 你对 LLM 能做什么 / 不能做什么有第一手经验，不靠媒体二手信息。

下一站：06. AI 训练实战