sbraveyoung · 字里行间
2026-04-26 10:03:00 · 1449 字 · 6 min

AI 入门到精通 03 · 机器学习基础

现在大家都在搞 LLM，但经典 ML 是地基。不懂偏差方差、过拟合、特征工程，去玩深度学习只会是「炼丹」式的瞎试。

一、ML 的全景与术语

  • 监督学习：有标签。分类（离散）+ 回归（连续）。
  • 无监督学习：无标签。聚类、降维、密度估计。
  • 半监督 / 自监督：少量 / 无标签 → 自己造监督信号（LLM 预训练的本质就是自监督）。
  • 强化学习：通过环境交互学策略（chap 05、06、08 会再展开）。
  • 在线 vs 离线学习：是否可以增量更新。
  • 生成式 vs 判别式：建模 P(X,Y) 还是 P(Y|X)。

二、必须掌握的算法（十大件）

按出场顺序：

  1. 线性回归 (Linear Regression)：最小二乘 / 梯度下降两种解；正则化（Ridge / Lasso）。
  2. 逻辑回归 (Logistic Regression)：分类的入门；和最大熵模型的等价性。
  3. k-NN：最简单的非参数方法；理解维度灾难。
  4. 朴素贝叶斯 (Naive Bayes)：文本分类的经典 baseline。
  5. 决策树 (Decision Tree)：信息增益 / 基尼指数；剪枝。
  6. 集成方法 (Ensemble)：
    • Bagging → 随机森林 (Random Forest)。
    • Boosting → AdaBoost → GBDT → XGBoost / LightGBM / CatBoost（表格数据 SOTA，工业界主力）。
  7. 支持向量机 (SVM)：最大间隔、核技巧；理解对偶 + KKT。
  8. k-means / 高斯混合模型 (GMM)：聚类与 EM 算法。
  9. PCA / t-SNE / UMAP：降维与可视化。
  10. HMM / CRF：序列建模经典（NLP 老兵必修）。

三、ML 方法论（比算法更重要）

  • 数据划分：训练 / 验证 / 测试集；交叉验证 (k-fold)；时间序列要按时间切分。
  • 数据泄露 (Data Leakage)：最致命的错误，本质是「用了未来 / 测试集的信息」。
  • 偏差 / 方差权衡 (Bias-Variance Tradeoff)。
  • 过拟合 / 欠拟合：识别 + 解决（正则、早停、Dropout、数据增强、加数据）。
  • 特征工程：缺失值处理、归一化 / 标准化、One-hot / Target Encoding、特征交叉、时间特征。
  • 类别不平衡：重采样、class weight、Focal Loss、阈值调优。
  • 评价指标：
    • 分类：accuracy / precision / recall / F1 / AUC / PR 曲线 / mAP。
    • 回归：MAE / MSE / RMSE / R²。
    • 排序 / 推荐：NDCG / Hit Rate / MRR。
    • 聚类：Silhouette / ARI。
  • 模型可解释性：feature importance、SHAP、LIME、PDP。
  • 学习曲线：训练 / 验证 loss vs 数据量 / epoch，用来诊断问题。

四、数学回顾（与 chap 01 对应）

  • 极大似然估计：解释逻辑回归 / 朴素贝叶斯的损失为什么长那样。
  • KL 散度：交叉熵的来源。
  • 凸优化：SVM 对偶问题、Logistic 的损失为何凸。
  • 概率图模型：朴素贝叶斯、HMM、CRF 的统一视角。

五、参考资料

课程

  • 吴恩达 Machine Learning Specialization (Coursera 新版) —— 入门最佳。
  • Andrew Ng 老版 CS229 —— 数学严谨版，配 讲义。
  • 林轩田《机器学习基石 / 技法》 —— 中文友好，理论扎实。

教材

  • 《统计学习方法》李航 —— 中文经典，公式推导细致。
  • 《Pattern Recognition and Machine Learning》Bishop (PRML) —— 贝叶斯视角的圣经。
  • 《The Elements of Statistical Learning》(ESL) —— 进阶。
  • 《机器学习》周志华（西瓜书） —— 中文入门首选。

实战

  • Kaggle —— 真实数据集 + 公开 notebook 学习他人思路。
  • scikit-learn 官方文档 —— 写得极好，所有算法都有数学推导 + 例子。
  • 《Hands-On Machine Learning with Scikit-Learn, Keras and TensorFlow》（Aurélien Géron）—— 工程导向，强烈推荐。

六、动手实践

  1. 从零实现 线性回归 / 逻辑回归 / 决策树 / k-means / 朴素贝叶斯（不用 sklearn，用 NumPy）。
  2. scikit-learn pipeline 实战：泰坦尼克号数据集（Kaggle 入门赛），跑通 数据清洗 → 特征工程 → 模型训练 → 提交，目标 Top 30%。
  3. GBDT 实战：在 HousePrice 上对比 LightGBM / XGBoost / CatBoost 的表现，调参（learning_rate / max_depth / num_leaves / 早停）。
  4. 特征工程主题练习：选一个真实业务数据集（如电商点击日志、信贷数据），做完整特征工程并写文档。
  5. 模型解释：用 SHAP 解释你训练出的 GBDT，能讲清"为什么这个样本被预测为 1"。
  6. 类别不平衡：在 Credit Card Fraud Detection 数据集上，用 SMOTE / class weight / focal loss 三种方法对比效果。
  7. 聚类实战：用 K-Means + UMAP 把 MNIST 降到 2 维并可视化；和 PCA 对比。

七、通关标志

  • 能解释偏差 / 方差并诊断一个模型是过拟合还是欠拟合。
  • 看到一个新业务问题，能在 30 分钟内给出"用什么模型 / 什么指标 / 怎么划分数据"的方案。
  • 完成一个 Kaggle 比赛（不一定要金牌，跑通 + 写一篇 notebook）。
  • 能从零推导逻辑回归的梯度并用 NumPy 实现。
  • 能解释 GBDT 为什么效果好（loss + 残差拟合）。
  • 知道何时不该用深度学习（小数据、表格数据）。

下一站：04. 深度学习基础