构建Agent为什么这么难

核心摘要

本集围绕构建AI Agent的难点与未来展开，核心判断是：构建Agent仍然非常困难，价值将向垂直领域和掌握领域知识的团队倾斜，而模型路由、记忆层和推理市场是当前最关键的竞争点。

干货提炼

主题一：构建Agent为什么这么难

• [明确判断]：Agent难以构建的根本原因在于LLM是非确定性的黑盒，输入输出空间无限，且Agent由多次模型调用和工具交互组成，导致级联错误。
• [证据/例子]：Harrison指出，模型接受自然语言输入，用户可输入任何内容，两次相似输入可能得到完全不同的答案；Agent不是单次模型调用，而是“a series of model calls”并与其他工具交互，形成“cascading types of errors”。
• [可带走内容]：构建Agent的核心挑战是让非鲁棒的系统可靠运行，这比模型本身的能力更关键。

主题二：模型路由的价值与位置

• [明确判断]：模型路由不是商品，但构建起来很难；路由应主要发生在harness层而非gateway层，因为harness拥有更多状态信息。
• [证据/例子]：Harrison认为gateway层路由（如OpenRouter）主要提供模型访问便利，而非智能路由；智能路由需要了解任务和harness状态，如提示缓存、提示策略，因此“routing you have to be harness aware”；Factory在harness层路由方面做得很好。
• [可带走内容]：垂直Agent的路由必须在harness层构建；通用聊天或编码等水平任务的路由可放在gateway层。

主题三：垂直Agent与领域专家的价值

• [明确判断]：Harrison“massively bullish on vertical agents”，价值将归于能编写验证器（evals）的领域专家。
• [证据/例子]：价值源于验证（verification），而“building evals is a very hard job”；领域专家能量化“good”的含义，构建垂直Agent体验；Harvey和Ramp等公司通过后训练开源模型来优化垂直领域表现。
• [可带走内容]：构建垂直Agent应从harness层和上下文工程开始，而非直接后训练模型；领域知识是核心壁垒。

主题四：记忆层是Agent的未解难题

• [明确判断]：记忆层是Agent领域“massively unsolved”的问题，其难点不在数据库，而在将观察提炼为有价值信息的智能过程。
• [证据/例子]：LangChain曾推出商业记忆解决方案但因未找到产品市场契合而放弃；记忆的难点在于“taking all of the observations...and distilling that into information that's valuable enough to go into this context”；LLM在元反思（meta-reflection）上仍很吃力。
• [可带走内容]：记忆解决方案将是领域特定的，不同领域（如音乐、法律）的记忆形式差异很大。

主题五：推理市场的巨大需求与成本控制

• [明确判断]：推理市场需求被严重低估，市场巨大且短期内不会减少；同时，Agent带来的token消耗使成本成为企业关注重点。
• [证据/例子]：Harrison承认“i really underestimated the demand for inference”；LangChain将约30%的工程薪资用于编码工具，但过去两个月token使用量上升而成本下降；通过可见性、成本控制和改进harness三步控制编码Agent支出。
• [可带走内容]：推理市场足够大，多家提供商可共存；企业控制Agent成本需从可见性、预算控制和harness优化入手。

高光金句

• ❝ “I think i really underestimated the demand for inference everything just works this market is so big there's just so much demand for it and i don't know if it's going to get last anytime soon”
• ❝ “I think the hard part about building agents is they don't behave how you want them to behave”
• ❝ “I think absolutely it's worth taking a discount for sequoia and benchmark”

提及资源

• 本集暂无提及外部资源