AI 入门到精通 08 · AI Agent

2024-2026 的最大叙事：从「LLM 回答问题」到「LLM 自主完成任务」。 Agent = LLM + 工具 + 记忆 + 规划 + 反馈循环。

一、什么是 Agent（避免概念膨胀）

Anthropic 的简洁定义最实用：

• Workflow：人写好步骤，LLM 执行某些环节。可控性高、能力上限低。
• Agent：LLM 自己决定下一步做什么、用什么工具、何时停。可控性低、能力上限高。

工业界 80% 的 "AI Agent" 项目其实是 Workflow，先把 Workflow 做好，再考虑真正的 Agent。

经典 Agent 抽象循环：

观察 (Observe) → 思考 (Think) → 行动 (Act) → 观察结果 → ...

二、知识点

2.1 基础组件

• LLM 内核：决定 reasoning 上限。Claude / GPT / Gemini / DeepSeek / Qwen 中各有偏长。
• 工具 (Tools / Function Calling)：搜索、计算、代码执行、文件读写、数据库、外部 API。
• 记忆 (Memory)：短期（对话上下文）+ 长期（向量库 / 关系数据库 / 文件系统）。
• 规划 (Planning)：任务拆解、子目标、ReAct、Plan-and-Execute、Tree-of-Thoughts。
• 反思 (Reflection)：Self-critique、Reflexion；让 Agent 评估自己的输出再迭代。
• 多 Agent 协作：Multi-Agent Debate、CrewAI 风格、AutoGen 风格、Swarm。
• 环境 (Environment)：Web 浏览器、文件系统、SDK、IDE、操作系统、机器人本体。

2.2 关键技术 / 概念

• Function Calling / Tool Use：OpenAI / Anthropic / Gemini 协议略有不同；Agent 框架做统一封装。
• MCP (Model Context Protocol)：Anthropic 推出，正在成为 Agent ↔ 工具的标准协议。强烈推荐学习。
• Computer Use / Browser Use：让 Agent 直接操作屏幕 / 浏览器 (Anthropic Claude Computer Use、OpenAI Operator、Browser Use 等)。
• Code Interpreter / Sandbox：让 Agent 写 + 执行代码做数据分析、计算、画图 (E2B / Pyodide / Jupyter)。
• RAG (Retrieval-Augmented Generation)：传统 RAG（Embedding + 向量库）→ Agentic RAG（Agent 主动决定查什么）→ Long-context（直接塞 1M tokens）。
• 结构化输出：JSON Mode / Function Calling / Pydantic schema。
• 流式 + 中断 + 人审 (Human-in-the-loop)：长任务必备。
• 可观测性 (Observability)：trace 每一步思考 / 工具调用 / 输入输出。

2.3 Agent 的"难点清单"

新手常掉坑：

• 上下文爆炸：长任务 token 累积；解决：摘要 / 分段 / sub-agent。
• Tool 数量过多：模型选不准；解决：分组 / 路由 / RAG over tools。
• 错误传播：一步错步步错；解决：每步验证 + 反思。
• 不知道何时停：循环死循环；解决：max iterations + budget + 终止条件。
• 可复现性：模型非确定性；解决：固定 temperature 0、seed、replay。
• 成本失控：每次 reasoning 多次调 LLM；解决：cache、小模型路由、本地化。
• 安全 / 越权：Agent 误删文件 / 发钱 / 发邮件；解决：权限分层 + 人审 + 沙箱。

2.4 Agent 评测

• τ-Bench：客服场景 Agent 评测。
• WebArena / VisualWebArena：网页浏览 Agent。
• OSWorld：操作系统 / 桌面 Agent。
• SWE-Bench / SWE-Bench Verified：软件工程 Agent（Cursor / Devin / Claude Code 都打这个）。
• GAIA：通用 Agent 综合评测。
• AppWorld / AgentBench：综合任务集。

三、典型 Agent 形态

四、参考资料

必读 / 必看

• Anthropic 《Building Effective Agents》 —— 行业最具影响力的入门指南，2024。
• Anthropic 《Model Context Protocol (MCP) Specification》 —— Agent 工具互操作协议。
• OpenAI 《A practical guide to building agents》。
• Lilian Weng 《LLM Powered Autonomous Agents》 —— 综述级长文。
• Andrej Karpathy 关于 Agents 的若干推特长文。

论文路线

1. ReAct (Yao 2022) — Reasoning + Acting 范式。
2. Toolformer (Schick 2023)。
3. Reflexion (Shinn 2023) — 自我反思。
4. Voyager (Wang 2023) — Minecraft 终身学习 Agent。
5. AutoGen (Wu 2023) / MetaGPT / CrewAI — 多 Agent 框架。
6. Tree of Thoughts (Yao 2023)。
7. SWE-Agent / OpenHands / OpenDevin。
8. Claude Computer Use (Anthropic 2024)。
9. AgentLab / GAIA 等评测论文。
10. 跟踪 GitHub Trending agents 类目 与 Anthropic / OpenAI / Google 的 Agent 公告。

框架与生态

五、动手实践

每一步对应你后续真实产品的能力维度：

1. 手写一个 ReAct Agent：不用框架，仅用 LLM API + Python。给一个工具（搜索 / 计算器），让它解决多步问题。
2. MCP 实操：写一个 MCP server（如查公司内部 wiki / 数据库），用 Claude / Cursor 接入它。
3. RAG 系统：搭一个完整 RAG（Embedding 选型 / 切块策略 / 召回 / 重排 / 融合 / 评测），喂自己的笔记 / 公司文档。
4. 编码 Agent 复刻：用 Claude / GPT 做一个能读 repo、改代码、跑测试、提 commit 的 mini Agent；对比 Aider / OpenHands。
5. 浏览器 Agent：用 Browser Use / Playwright + LLM，让 Agent 完成一项真实任务（订机票 / 抢票 / 信息检索 + 填表）。
6. 多 Agent 协作：用 LangGraph / CrewAI 写一个"产品经理 + 开发 + 测试" 三 Agent 协作完成需求。
7. 评测 Agent：在 SWE-Bench Lite 或 τ-Bench 上跑你的 Agent，记录通过率，针对失败 case 改进。
8. 生产化：把上面任一 Agent 加上：trace 日志、cost 统计、失败重试、人审介入、限流。

六、通关标志

• 能讲清 Workflow vs Agent 的边界，并解释为什么大多数业务该先做 Workflow。
• 写过至少一个 MCP server / 接入 MCP 的 Agent。
• 你的 Agent 在 SWE-Bench Lite / τ-Bench / GAIA 之一上有可量化的成绩。
• 能识别 Agent 失败的"五大类"原因（上下文、工具选择、规划、错误传播、终止）。
• 上线过至少一个真实有人用的 Agent / Workflow。
• 对"人 + Agent 协作的工作流"有自己的设计观点。

下一站：09. 多模态与生成