sbraveyoung · 字里行间
2026-04-26 10:01:00 · 1531 字 · 7 min

AI 入门到精通 01 · 数学基础

"搞 AI 不需要数学" 是销售给你的安慰剂。调 API 不需要数学，做 AI 需要。 但你不需要数学博士的水平，只需要"看到论文里的公式不慌、能推一个 backprop"的水平。

一、需要学什么、学到什么程度

按重要性 / 实用度排序：

模块 重要性 必须掌握的核心
线性代数 ★★★★★ 矩阵运算、特征值、SVD、向量空间直觉
微积分 ★★★★★ 偏导、链式法则、梯度、Jacobian / Hessian
概率论与统计 ★★★★★ 条件概率、贝叶斯、期望方差、常见分布、MLE / MAP
数值优化 ★★★★ 梯度下降族、凸性、约束优化（拉格朗日）
信息论 ★★★ 熵、KL 散度、交叉熵
离散数学 / 图论 ★★ 图、动态规划（搞 GNN / RL 时用）
微分方程 ★★ ODE / SDE（搞 Diffusion / Flow 时用）

底线：能看懂《Deep Learning》(花书) 第一部分（Part I: Applied Math and Machine Learning Basics）。

二、知识点详解

2.1 线性代数

  • 向量、矩阵、张量；点积 / 叉积 / 外积的几何意义。
  • 矩阵乘法（所有神经网络的基本操作）。
  • 行列式、逆、秩、迹；何时矩阵不可逆、伪逆 (pseudo-inverse) 是什么。
  • 特征值与特征向量；谱定理、矩阵对角化。
  • SVD 与低秩近似（PCA、LoRA 都建立在此之上）。
  • 向量空间、子空间、投影、正交基、Gram-Schmidt。
  • 范数：L1 / L2 / L∞，Frobenius 范数。

2.2 微积分

  • 极限、连续、导数、偏导。
  • 链式法则（反向传播的全部依据）。
  • 梯度、方向导数、Hessian 矩阵。
  • Taylor 展开（理解梯度下降为什么是局部线性近似）。
  • 多元函数极值与拉格朗日乘子（约束优化）。
  • 矩阵 / 向量求导（Matrix Cookbook 是查阅手册）。

2.3 概率论与统计

  • 样本空间、事件、条件概率、独立性、贝叶斯公式。
  • 离散 / 连续随机变量；常见分布（伯努利、二项、泊松、正态、指数、Beta、Dirichlet、Categorical）。
  • 期望、方差、协方差、相关系数。
  • 大数定律、中心极限定理。
  • 参数估计：MLE（极大似然）、MAP（最大后验）。
  • 贝叶斯推断与共轭先验。
  • 假设检验、置信区间（业务 A/B test 用到）。
  • 蒙特卡洛与重要性采样。

2.4 数值优化

  • 梯度下降 (GD) → 随机梯度下降 (SGD) → mini-batch SGD。
  • 动量法 (Momentum)、Nesterov、Adagrad、RMSprop、Adam、AdamW。
  • 学习率调度（cosine、warmup）。
  • 凸函数、Jensen 不等式。
  • 约束优化、KKT 条件、对偶问题。
  • 坐标下降、二阶方法 (Newton, L-BFGS) —— 知道存在即可。

2.5 信息论（速通）

  • 熵 H(X)、联合熵、条件熵、互信息。
  • KL 散度 D(P‖Q)：交叉熵损失的本质。
  • 交叉熵：分类任务最常用的 loss。

三、参考资料

课程（按上手顺序）

  1. 3Blue1Brown (Essence of Linear Algebra / Calculus) —— 必看，建立几何直觉。
  2. Khan Academy 的 Linear Algebra / Multivariable Calculus / Statistics —— 系统刷题练手感。
  3. MIT 18.06 Gilbert Strang《线性代数》—— 经典，配套教材免费。
  4. MIT 6.041 / 6.042《概率论》—— John Tsitsiklis 主讲，b 站有中字。
  5. Stanford EE364a《Convex Optimization》(Stephen Boyd) —— 进阶，等学到推荐系统 / 经典 ML 时再看。

教材

  • 《Linear Algebra and Its Applications》—— Strang，配 MIT 18.06。
  • 《Mathematics for Machine Learning》—— 免费 PDF，专为 ML 写的数学复习。
  • 《Pattern Recognition and Machine Learning》(PRML) —— Bishop，第一二章是概率统计的金标准。
  • 《Matrix Cookbook》—— 矩阵求导查阅手册。
  • 《Deep Learning》(花书) Part I —— 路线终点之一。

视频（备选）

  • 李宏毅《机器学习》前几章数学补充（中文友好）。
  • StatQuest 的统计 / 贝叶斯系列（英文，浅显幽默）。

四、动手实践

数学不动手等于没学。所有公式都要用 NumPy 实现一遍。

  1. NumPy 实现线代基本运算：手写矩阵乘法（不用 @）、行列式（递归）、矩阵求逆（高斯消元）。
  2. PCA from scratch：用 SVD / 特征分解在 MNIST 上做降维并可视化。
  3. 梯度下降可视化：在 f(x,y) = x² + 10y² 上对比 SGD / Momentum / Adam 的收敛轨迹（matplotlib 画等高线 + 路径）。
  4. 从零推导并实现一元 / 多元线性回归：用最小二乘解析解 + 梯度下降两种方法验证。
  5. 手算 + 代码验证一个 3 层全连接网络的反向传播：在纸上算梯度，再用 PyTorch 的 autograd 比对数值。
  6. 概率作业：用 NumPy 实现拒绝采样、MCMC (Metropolis-Hastings) 采样一个高斯混合分布。
  7. MLE 实操：给定一组数据，用 MLE 估计正态分布的 μ, σ；用 MAP（加正态先验）做对比。

五、通关标志

  • 能口头解释：什么是矩阵的秩、特征值、SVD 的几何意义。
  • 拿起一篇神经网络论文，能看懂里面的矩阵公式（不一定看懂结论）。
  • 能从零推导线性回归 / 逻辑回归的梯度并用 NumPy 实现。
  • 知道交叉熵和 KL 散度的关系。
  • 能解释为什么用 Adam 不用 SGD（再说出 Adam 的局限）。
  • PCA 能用一句话讲清原理。

下一站：02. 编程能力