exercises全部约 50 分钟
12
练习与项目
学完你能做到
- 给出可直接布置的四级项目
- 给出不靠背书就能通过的考核方式
四个难度递增的项目,后一个建立在前一个上。建议按周分配,不要一次给完。
| 项目 | 要求 | 考查哪些模块 |
|---|---|---|
| P1 · 写工具说明 | 给一个已有的 Python 函数写工具描述和示例,让模型能在合适的时候选中它。故意再给一个功能相近的干扰函数,看模型会不会选错 | 模块 0、2、3、4 |
| P2 · 选模式 | 给定一个真实需求,写一页设计文档:选哪个模式、为什么、换成另一个模式会有什么代价。不写代码 | 模块 5、6 |
| P3 · 实现 | 实现 P2 的设计。硬性要求:链条里必须有至少一个用代码写的检查关卡;如果用了评估循环,必须有最大轮数 | 模块 6 |
| P4 · 加固 | 给 P3 加三样东西:事件日志(能重放整个执行过程)、崩溃恢复、凭证不出现在模型可达的地方 | 模块 7、10 |
| P5 · 综合(选做,建议留给学有余力的小组) | 把 P4 拆成两个协作的 agent(比如一个负责查资料、一个负责起草),并加一份长期记忆(记住这个用户上次问过什么)。交一份"故障排查记录":故意制造一次协调失败,写清楚怎么定位出是哪个环节的问题 | 模块 8、9、11 |
从项目演示到真实上线:先内部使用,再逐级扩大自主权
不要只统计“用了多少次”,要测任务是否真的变好
| 指标 | 它回答什么问题 |
|---|---|
| 任务完成率 / 正确率 | 最终有没有把事情做对 |
| 人工返工率 | 表面完成后还需要人改多少 |
| 升级率与交接成功率 | 什么时候找人,以及人能否直接接管 |
| 平均完成时间与每任务成本 | 速度和费用是否值得 |
| 工具错误率 / 重试率 | 主要故障是否来自外部执行 |
| 安全违规与错误行动恢复成本 | 系统造成真实副作用的风险 |
| 用户满意度 | 结果是否真正改善了体验 |
“100% 的员工都点开过 AI”是采用率,不是业务价值。Agent 项目必须把技术指标和实际任务结果放在一起看。
期末考核建议
比起考名词,更建议给一个坏设计让学生批判。例如给一段这样的代码:
把所有决策都交给模型、没有任何检查关卡、密钥写在环境变量里、出了错只打印一句"失败了"、评估循环没有上限。
让他们列出问题并给出改法。这个题型能同时考到五个模块,而且没法靠背书通过。
结课工作坊:把一个想法做成可评估的 Agent 最小产品
你要选择“论文证据助手、听力导师、报销审核或专题研究”之一,在不追求功能数量的前提下完成一条可靠闭环。
本节追问:什么证据能证明它不是一个套着 Agent 名字的聊天演示? 先不要急着看结论。沿着下面四步,逐项区分输入、决策、证据和失败信号。
| 阶段 | 本步要做的决定 | 什么算证据 | 最常见的失败 |
|---|---|---|---|
| 选定结果 | 定义一个用户结果、边界和失败代价 | 有清晰基线与验收指标 | 先列二十项功能 |
| 搭建闭环 | 实现目标—决策—工具—观察—完成 | 至少一次下一步由观察结果决定 | 固定脚本却声称自主规划 |
| 加入护栏 | 结构校验、权限、预算、失败恢复与日志 | 关键错误会被发现并安全停止 | 只在提示词里写安全要求 |
| 运行评估 | 建立正常、边界、攻击和故障样本 | 与无 Agent 基线比较收益和代价 | 只录制一次成功视频 |
阅读方式:先遮住后两列自己回答,再用“证据”和“失败”两列检查理解。
常见误解
项目目标写成“实现一个功能强大的 Agent”
实际上
可观察症状:无法判断完成、无法取舍,也无法评价是否更好。
更可靠的修复:选择窄场景和可测结果,先做可靠闭环再扩展。
案例工作坊 · 建议真正动手完成
25 分钟- 写一页项目章程:用户、结果、边界、权限和指标。
- 画出端到端架构与一个失败恢复序列。
- 准备至少二十例评估集并提交结果表。
查看参考答案
合格结课项目应证明:它维护目标和状态,能根据真实观察选择动作,在权限和预算内工作,失败可恢复,结果可用评估集复现。
迁移检查:换一个场景还会不会
结课项目最有说服力的展示是?