飞轮的最后一转:实践”管理 + 创造”工作流

我的理解

这一课把”管理-创造”工作流最后一次内化为 AI 架构师的操作系统,强调对自主 agent 你无法微观管理,必须把成功标准讲得一清二楚。三项技能形成闭环:清晰定义成功(用精确率、召回率等 OKR 审视 agent 的判断质量,而非含糊的”这有用吗”)、有效传达目标(把 prompt 当作长期有效的任务说明书,含角色、内外部信息源、行为规则与精确 JSON schema)、绩效复盘(对误报漏报做根因分析,区分 Broad Scan 还是 Deep Dive 出问题,迭代任务说明书与 background.md 战略上下文)。

相关链接


原文

Lesson 36 of 46 飞轮的最后一转:实践”管理 + 创造”工作流 / The Flywheel’s Final Turn: Applying the Manage-and-Create Workflow

至此,你已经为自己的主动型 Agent 奠定了战略基础。你明白:在动手写代码之前所做的架构决策——如何过滤噪声、如何组织推理流程——才是把一个简单 bot 与一个真正的战略顾问区分开来的关键。

这把我们最后一次带回到本课程的核心方法论:能力飞轮(Capability Flywheel)。提醒一下,本课程已经显著提升了你的工程能力。你当前最主要的挑战、也是最大的成长机会,在于做出高质量的产品决策,并有效地管理你的 AI 伙伴去执行这些决策。

为此,我们现在要彻底把”管理 + 创造”工作流(manage-and-create workflow)内化为习惯。你可以把它视为一名 AI 架构师(AI Architect)的操作系统。它由三项关键技能组成,正是一位优秀的管理者用来指导一位有才华的直接下属时所依赖的能力。

一名优秀管理者最基础也是最首要的技能,是清晰地定义”什么叫做成功”。对于一个自主运行的 agent 来说,这是实现控制与对齐的主要手段。你无法对它的每一个动作进行微观管理,因此必须把期望的结果讲得一清二楚。预先设定这些目标,可以把评估从一句含糊的”这有用吗?“转变为对 agent 战略判断力的严格绩效审视。

具体做法:在本项目中,你将定义聚焦于 agent 判断质量的目标与关键结果(OKRs)。例如:

精确率(Precision):被标记为”High Importance”的告警中,有多少百分比是真正与你的战略目标相关的?

召回率(Recall):在给定时间段内,agent 是否漏掉了任何它本应捕捉到的关键公开公告?

有了清晰的目标之后,第二项技能是有效地把这个目标传达出去。这也是为什么对一个主动型 agent 而言,prompt 不能被当作一次性的问题来写,而必须被视为一份长期有效的”任务说明书(mission brief)“。它必须清晰地定义 agent 的角色、信息来源(包括内部和外部)、行为规则,以及输出的精确格式。

具体做法:我们会提供一份详细的起始 prompt,它体现了两阶段扫描(Two-Stage Scan)架构。你将学到如何组织这种复杂的、多步骤的指令集,包括如何为它提供核心的战略上下文(background.md 文件),以及如何指定它在最终报告中必须使用的精确 JSON schema。

最后,在有了明确目标与明确任务说明书之后,第三项也是最后一项技能,是绩效复盘的艺术。你的 agent 一开始做出的判断不会完美。它可能过于敏感、产生过多噪声;也可能过于保守、漏掉重要信号。一位优秀的管理者不会因此就”开除”这个 agent,而是会对它进行辅导。这正是你形成闭环、让整个系统随时间变得更聪明的地方。

具体做法:你会定期对照自己定义的 OKRs 来评审 agent 的输出。对于每一次失败(误报或漏报),你都要做一次根因分析。问题出在 Broad Scan(初始关键词选错了)?还是出在 Deep Dive(分析用的 prompt 不够具体)?又或者,我们其实应该为 agent 引入某种记忆机制?这种分析能让你给出非常有针对性的反馈,通过迭代优化 agent 的”任务说明书”(也就是这些 prompts)或它的”战略上下文”(即 background.md 文件)来不断改进。这就是你训练你的 agent,使其越来越贴合你意图的方式。