什么时候不该用 AI
我的理解
这是一篇优秀的学员实战案例:为 5 岁女儿做识字助手,延迟从 40 秒降到 3 秒。核心教训是架构演进的三阶段——V1 积木式串行(40 秒延迟)、V2 代理式迷信(9.8 秒/70% 成功率,LLM 幻觉读出函数名)、V3 状态机回归(<3 秒/100% 可靠)。关键洞察:把确定性流程(翻卡片)交给状态机代码,把创造性生成(鼓励孩子、解释字义)交给 LLM;不要用 Prompt 去修复架构上的懒惰。AI 架构师的核心工作是拷问目的、围绕目的做技术选型,架构决定上限,编程只能逼近这个上限。
相关链接
- Ch08-L02 无摩擦交互Android手表 — 另一篇课程实战踩坑案例,同样探索设备边界与 AI 能力边界
- Ch08-L03 课代表鸭哥工作实况 — 也涉及工具选型与判断 AI 能力边界的工作方法
- Ch03-L03 前路展望PhaseB路径 — 项目路径与方法论,呼应”拷问目的做技术选型”的架构师思维
原文
Lesson 44 of 46 什么时候不该用 AI / When to not use AI
ai Architect 课程实践。从 40 秒到准实时：儿童识字助手的三次架构演进
《当 5 岁女儿说”它坏了”：一个父亲将 AI 应用延迟从 40 秒杀到 3 秒的架构救赎》
——为什么在 AI 应用中，找回”确定性”比提升”模型智商”更重要？
核心提炼：大多数 AI 开发者的弯路都卡在 V2 阶段（伪 AI 原生）：试图用 Prompt 和 Function Call 去解决所有逻辑问题，结果陷入了概率的泥潭。真正的 AI 架构师懂得：把上帝的归上帝（创造性生成），把凯撒的归凯撒（确定性流程）。
对比：
❌ V1 积木式堆叠（The Integration Trap）：
思维：“我有 ASR、LLM、TTS 三个 API，串起来就是 AI 应用。”
结果：40 秒延迟。用户（女儿）在第 3 秒就走神了。
教训：即时通讯场景，HTTP 串行是死路。
⚠️ V2 代理式迷信（The Agent Trap）：
思维：“LLM 很聪明，用 Function Call 让它自己决定翻牌还是说话。”
结果：9.8 秒延迟，70%成功率。AI 因为上下文过长开始”幻觉”，把函数名读了出来。
教训：不要用概率模型去赌确定性的业务流程。
✅ V3 状态机回归（The Architectural Awakening）：
思维：“翻牌是死逻辑，对话是活逻辑。用 WebSocket 打通感官，用状态机控制骨架，用 AI 填充血肉。”
结果：<3 秒感知的流式体验，100%可靠。
教训：架构不仅仅是连接，更是控制权的分配。
点评：
我们在教课的时候，我最注重的就是把鸭哥脑子中的隐性知识显性化，但我们也发现，必须要上手，自己体验一把，才能建立这种直觉。你的文章就是一个非常生动的案例，通过前后对比，非常明晰地展现了”架构”是一件多么重要的事情。而且你总结和抓得都很准，架构决定上限，而编程只能逼近这个上限。
这篇帖子是我们课程目前最好的实战案例之一，我想借此机会，把你在 V3 阶段做对的那件”隐形”的事情再对更多学员挑明。
你做出的最关键决策，不是换了 Realtime API，而是你敢于承认”AI 不是全能的”。
在 V2 阶段，你陷入了目前普遍的”Agent 迷思”——我们总觉得只要 Prompt 写得好，LLM 就能像人一样完美调度工具（Function Call）。但现实是残酷的：在商业软件中，95%的准确率往往意味着”不可用”。
你的 V3 架构之所以成功，是因为你用架构师身份，深入理解了业务目标，从而有信心用”比 AI 更合适的”方法：
业务逻辑的去 AI 化：你发现”翻卡片”是一个确定性动作（f(x)=y），绝不能交给概率性的 LLM（P(y|x)）。你引入状态机（State Machine），这是传统软件工程的智慧。你让代码负责”骨架”，让 AI 负责”皮肤”。
体验设计的感官化：你深刻理解了”延迟”的本质。对用户（尤其是孩子）来说，延迟不是 Total Time（40 秒），而是 Time to First Byte (TTFB)。流式（Streaming）和 WebSocket 不仅仅是技术选型，更是为了欺骗和抚慰人类的大脑，营造”我在听”的即时感。
给其他同学的启发：“AI 架构师”是干什么的？是写更复杂的 Prompt 吗？你的案例告诉我们：AI 架构师的核心工作，是拷问目的，围绕目的进行设计和技术选型。
创造性任务（如：鼓励孩子、解释字义） -> 交给 LLM（概率模型）
流程性任务（如：翻页、计分、状态流转） -> 交给代码（确定性模型）
不要试图用 Prompt 去修复架构上的懒惰。
其实我们在 AI Builders 的第一个案例，自动化 Wbr 里，上来就强调，不要为了用 AI 而用 AI，而是要让 AI 发挥它的长处。但这句话说出来容易，具体怎么做，真的很难。这么多节课，就是为了把这个隐性的内容让大家真的内化。但我相信，内化之后的价值，也是巨大的。我能感受到，你的新思维方式，能让你在 AI 时代，跨越很多别人无法跨越的门槛。
恭喜你，从一个”API 组装者”进化为了一名真正的”AI 产品架构师”。你的女儿是你最好的 QA，而这篇文章将是很多开发者的避坑指南。