sbraveyoung · 字里行间
2026-04-26 10:09:00 · 1595 字 · 7 min

AI 入门到精通 09 · 多模态与生成

LLM 让机器能听懂；多模态让机器能看见、能创造。 这一章覆盖：理解（看图看视频）+ 生成（图、视频、音频）+ 端到端多模态。

一、地图

                  Encoder (理解)
文本 / 图 / 视频 / 音频 → 特征空间 → 决策 / 生成
                  Decoder (生成)

主流路线：

  • CLIP 系：对比学习，把图文对齐到同一空间。理解、检索、引导生成都靠它。
  • VLM (视觉语言模型)：图像 / 视频 token 化后塞进 LLM。代表：Qwen2-VL / LLaVA / GPT-4o / Gemini。
  • Diffusion 系：图像、视频、音频生成 SOTA。代表：Stable Diffusion / Flux / Sora / Veo。
  • Autoregressive 生成：MAR / VAR、原生多模态 (Gemini / GPT-4o / Janus)。
  • 音频 / 语音：Whisper (识别)、VITS / Tortoise / Bark / OpenVoice / SeedTTS / GPT-4o voice (合成)、Moshi (实时)。
  • 3D / 视频生成：NeRF / 3D Gaussian Splatting / Sora / Veo / Wan / Hunyuan / Step-Video。

二、知识点

2.1 视觉表征基础

  • 图像 → patch → token：ViT 的核心思路。
  • 卷积 vs Attention：现代多用 ViT 但 ConvNeXt 仍有竞争力。
  • 自监督表征：MAE / DINO / DINOv2 / SAM / SAM2。

2.2 多模态对齐

  • CLIP (Radford 2021)：对比学习鼻祖。
  • SigLIP / SigLIP 2 (Google)：替代 softmax 用 sigmoid，效果 + 可扩展性更好。
  • EVA-CLIP / OpenCLIP：开源加大版。
  • 评测：ImageNet Linear Probe / Zero-shot、MSCOCO Retrieval。

2.3 视觉语言模型 (VLM)

  • 架构：vision encoder + projector + LLM。
  • 代表：LLaVA / MiniGPT / Qwen-VL / InternVL / CogVLM / MM1 / Idefics / Phi Vision。
  • 闭源代表：GPT-4o / Claude (Vision) / Gemini。
  • 训练范式：image-text 对预训练 → 指令微调 → 偏好对齐。
  • 视频 VLM：Video-LLaMA、Video-ChatGPT、Qwen2-VL（原生视频）、InternVideo。

2.4 Diffusion 生成

  • 核心机制：前向加噪（高斯扩散）→ 学反向去噪。
  • 训练目标：score matching / noise prediction。
  • 采样器：DDPM / DDIM / DPM-Solver / Euler / Flow Matching。
  • 架构：U-Net (Stable Diffusion 1/2)、DiT (Sora / SD3 / Flux)、MMDiT (SD3)。
  • 条件控制：text → CLIP / T5 → cross-attention；ControlNet / IP-Adapter / LoRA / Inpainting。
  • 加速：LCM / TCD / Lightning（蒸馏到几步采样）；Distillation。
  • Flow Matching / Rectified Flow：当前 SOTA 训练范式（SD3 / Flux）。

2.5 视频生成

  • 时空建模：3D U-Net → DiT + temporal attention → 全 transformer。
  • 代表：Sora / Veo 3 / Kling / Runway Gen-3 / Wan / Hunyuan Video / Step-Video / Mochi / Cosmos。
  • 关键挑战：长程一致性、物理合理性、可控性、算力 / 显存。
  • 评测：VBench / EvalCrafter。

2.6 音频 / 语音

  • ASR (识别)：Whisper / Paraformer / Conformer / WhisperX。
  • TTS (合成)：VITS / FastSpeech2 / VALL-E / Tortoise / Bark / OpenVoice / CosyVoice / SeedTTS / GPT-SoVITS / F5-TTS。
  • 实时对话：Moshi、GPT-4o Voice、Gemini Live —— 端到端语音 LLM。
  • 音乐生成：MusicGen / Suno / Udio / Stable Audio。

2.7 3D / 世界模型

  • NeRF：神经辐射场，2020。
  • 3D Gaussian Splatting (2023)：训练 / 渲染都快，工程友好。
  • Mesh / Gaussian / Voxel 生成：Trellis、Hunyuan3D、Wonder3D。
  • 世界模型 (World Model)：Sora / Genie / Lumen / Diamond / Dreamer 系列；接 chap 10。

2.8 原生多模态

  • 把所有模态 tokenize → 一个统一 Transformer。
  • 代表：Gemini、GPT-4o、Janus / JanusFlow、Chameleon、Show-o、Emu3。
  • 优点：架构简洁、能力可迁移；缺点：训练成本极高。

三、参考资料

课程

  • Stanford CS231n —— 视觉基础。
  • Hugging Face Diffusion Course（免费）—— 上手最快。
  • fast.ai Practical Deep Learning + Stable Diffusion 系列。
  • CMU 11-777 Multimodal Machine Learning。

必读论文

  • CLIP (Radford 2021)。
  • DDPM (Ho 2020) / Score-based generative models (Song 2020)。
  • Stable Diffusion / Latent Diffusion (Rombach 2022)。
  • DiT (Peebles 2022) / SD3 / Flux —— 现代图像生成主架构。
  • Flow Matching for Generative Modeling (Lipman 2022)。
  • Sora 技术报告 (OpenAI 2024) —— 思想性强，工程细节少。
  • LLaVA / Qwen-VL / InternVL / Gemini / GPT-4o 各自技术报告。
  • SAM / SAM2 (Meta) —— 通用分割。
  • 3D Gaussian Splatting (Kerbl 2023)。
  • Whisper (Radford 2022)。

工具 / 仓库

  • diffusers (HF) —— 必装。
  • ComfyUI —— 节点式图像 / 视频生成工作流。
  • [InvokeAI / Automatic1111] —— 老牌 SD WebUI。
  • LLaVA / InternVL / Qwen2-VL 仓库。
  • OpenSora / [CogVideo / Wan / Hunyuan-Video] 仓库 —— 学习视频生成开源实现。
  • [Whisper / faster-whisper / WhisperX]。
  • [3DGS 开源实现 + viewer]。

跟踪

  • Hugging Face Daily Papers —— 每天看 5 篇。
  • [The Sequence / Multimodal Newsletters]。
  • 各家技术博客（Black Forest Labs / Stability AI / Runway / 字节豆包 / 阿里 Qwen / 腾讯混元）。

四、动手实践

  1. CLIP 实操：用 OpenCLIP 在自己整理的图集上做 zero-shot 分类与图文检索。
  2. Stable Diffusion 全套：用 ComfyUI / diffusers 跑通 txt2img / img2img / inpainting / ControlNet / LoRA 训练。
  3. 训练自己的 LoRA：拿 20 张自己的照片，训一个 Flux / SDXL LoRA，生成你自己的二次元 / 古风形象。
  4. VLM 微调：在 LLaVA / Qwen2-VL 上做一个领域 VLM（如 PCB 缺陷检测、医学影像问答）。
  5. 复现 DDPM：在 MNIST / CIFAR-10 上从零写 DDPM（参考 labmlai annotated 实现）。
  6. 视频生成体验：用 OpenSora / Wan / Hunyuan-Video 跑通本地 / 云端推理，生成一段 5 秒视频。
  7. 语音项目：用 Whisper 做长视频转字幕；再用 GPT-SoVITS / F5-TTS 克隆某人声音。
  8. 3D Gaussian Splatting 入门：拍一段视频，用 NerfStudio / 3DGS 重建一个 3D 场景，在浏览器里转动看。
  9. 端到端综合项目：自选一个跨模态应用（"图生图 + 自动配音 + 视频合成"管线），把 chap 5-9 学的东西串起来。

五、通关标志

  • 能解释 Diffusion 训练为什么 work（数学直觉，不需要严格证明）。
  • 能用 ComfyUI / diffusers 完成一个非平凡的图像生成需求并出图给非技术朋友看。
  • 跑过一次 VLM 微调或一次 Diffusion LoRA 训练。
  • 能讲清 CLIP / DiT / Flow Matching / 原生多模态的区别。
  • 知道当前视频 / 语音 / 3D 生成的能力边界。
  • 你的项目目录里至少有一个跨两种模态的端到端工作。

下一站：10. 前沿方向