智能体入门课
exercises全部50 分钟

12

练习与项目

学完你能做到

  • 给出可直接布置的四级项目
  • 给出不靠背书就能通过的考核方式

四个难度递增的项目,后一个建立在前一个上。建议按周分配,不要一次给完。

项目要求考查哪些模块
P1 · 写工具说明给一个已有的 Python 函数写工具描述和示例,让模型能在合适的时候选中它。故意再给一个功能相近的干扰函数,看模型会不会选错模块 0、2、3、4
P2 · 选模式给定一个真实需求,写一页设计文档:选哪个模式、为什么、换成另一个模式会有什么代价。不写代码模块 5、6
P3 · 实现实现 P2 的设计。硬性要求:链条里必须有至少一个用代码写的检查关卡;如果用了评估循环,必须有最大轮数模块 6
P4 · 加固给 P3 加三样东西:事件日志(能重放整个执行过程)、崩溃恢复、凭证不出现在模型可达的地方模块 7、10
P5 · 综合(选做,建议留给学有余力的小组)把 P4 拆成两个协作的 agent(比如一个负责查资料、一个负责起草),并加一份长期记忆(记住这个用户上次问过什么)。交一份"故障排查记录":故意制造一次协调失败,写清楚怎么定位出是哪个环节的问题模块 8、9、11

从项目演示到真实上线:先内部使用,再逐级扩大自主权

离线评测固定测试集 内部试用员工找问题 小范围用户只读或建议 低风险行动可逆且有上限 扩大权限持续监控回退 任何一级出现高代价错误 → 降级权限、补评测、修复后再前进
上线不是开关。每一级都要用真实失败案例证明安全,才能扩大用户范围和动作权限。

不要只统计“用了多少次”,要测任务是否真的变好

指标它回答什么问题
任务完成率 / 正确率最终有没有把事情做对
人工返工率表面完成后还需要人改多少
升级率与交接成功率什么时候找人,以及人能否直接接管
平均完成时间与每任务成本速度和费用是否值得
工具错误率 / 重试率主要故障是否来自外部执行
安全违规与错误行动恢复成本系统造成真实副作用的风险
用户满意度结果是否真正改善了体验

“100% 的员工都点开过 AI”是采用率,不是业务价值。Agent 项目必须把技术指标和实际任务结果放在一起看。

期末考核建议

比起考名词,更建议给一个坏设计让学生批判。例如给一段这样的代码:

把所有决策都交给模型、没有任何检查关卡、密钥写在环境变量里、出了错只打印一句"失败了"、评估循环没有上限。

让他们列出问题并给出改法。这个题型能同时考到五个模块,而且没法靠背书通过。

结课工作坊:把一个想法做成可评估的 Agent 最小产品

你要选择“论文证据助手、听力导师、报销审核或专题研究”之一,在不追求功能数量的前提下完成一条可靠闭环。

本节追问:什么证据能证明它不是一个套着 Agent 名字的聊天演示? 先不要急着看结论。沿着下面四步,逐项区分输入、决策、证据和失败信号。

每一步都要回答:看到了什么?为何这样决定?怎样证明? 1 选定结果 定义一个用户结果、边界和失败代价 观察 → 决策 → 留证据 2 搭建闭环 实现目标—决策—工具—观察—完成 观察 → 决策 → 留证据 3 加入护栏 结构校验、权限、预算、失败恢复与日志 观察 → 决策 → 留证据 4 运行评估 建立正常、边界、攻击和故障样本 观察 → 决策 → 留证据 完整案例链:不是记住名词,而是能够用证据作出下一步决定
四步案例推演。手机上可左右滑动查看;每个箭头都代表一次需要证据支撑的状态转换。
阶段本步要做的决定什么算证据最常见的失败
选定结果定义一个用户结果、边界和失败代价有清晰基线与验收指标先列二十项功能
搭建闭环实现目标—决策—工具—观察—完成至少一次下一步由观察结果决定固定脚本却声称自主规划
加入护栏结构校验、权限、预算、失败恢复与日志关键错误会被发现并安全停止只在提示词里写安全要求
运行评估建立正常、边界、攻击和故障样本与无 Agent 基线比较收益和代价只录制一次成功视频

阅读方式:先遮住后两列自己回答,再用“证据”和“失败”两列检查理解。

常见误解

项目目标写成“实现一个功能强大的 Agent”

实际上

可观察症状:无法判断完成、无法取舍,也无法评价是否更好。

更可靠的修复:选择窄场景和可测结果,先做可靠闭环再扩展。

案例工作坊 · 建议真正动手完成

25 分钟
  1. 写一页项目章程:用户、结果、边界、权限和指标。
  2. 画出端到端架构与一个失败恢复序列。
  3. 准备至少二十例评估集并提交结果表。
查看参考答案

合格结课项目应证明:它维护目标和状态,能根据真实观察选择动作,在权限和预算内工作,失败可恢复,结果可用评估集复现。

迁移检查:换一个场景还会不会

结课项目最有说服力的展示是?