一、核心结论：框架影响力是模型的7倍以上

Braintrust的回归分析把这一直觉量化为精确数字。在控制基准测试和模型两个变量后，智能体框架能解释约5.3%的成功率差异，模型仅能解释0.7%。换框架的影响力是换模型的7倍以上。

更关键的是，智能体框架切换的成本几乎为零——同一任务中不同框架的Token消耗基本相当。当六款主流模型在编程任务上的表现差距已缩小至个位数百分点时，”选哪个模型”不再是决定性变量。“用什么工具把模型部署到生产环境”、”每次成功任务的推理成本控制在什么水平”，正在成为区分赢家和输家的核心变量。

二、框架：成功率81个百分点的最大杠杆

Braintrust测试了五种架构完全不同的智能体框架：

• claude_code：Anthropic原生Agent循环，以类XML格式让模型自主管理工具调用和上下文
• smolagents_code：允许模型编写Python代码串联操作
• tool_calling：标准结构化JSON函数调用，一次一个工具
• tool_calling_with_shortlisting：每轮预筛选可用工具
• openai_solo：最薄的OpenAI封装

同模型、同任务下切换框架的数据令人触目惊心。几个典型例子：

每个成功率的悬崖背后都是同一个模型。框架设计中的微小差异——是让模型自主管理上下文，还是用固定模板约束每一步；是允许模型写代码串联工具调用，还是只能一次调用一个工具——把成功率差距拉到了近一个数量级。

三、开源模型的生产力账本：每次成功0.73美元

在SWE-bench编程基准上，开源模型与最顶尖闭源模型处于同一档位：DeepSeek V3.2达到96%成功率，Kimi K2.5达到94%，Claude Opus 4.5为100%，GPT-5.2为93%，Gemini 3 Pro为87%。

但真正的分水岭在成本端。Braintrust对每次运行按LiteLLM的实际Token费率定价，再用成功率折算每次成功任务的成本（cost per success）：

开源模型还有一个闭源模型不具备的成本结构优势：自托管。不用每次调用都付费，不用承受API涨价的被动风险。对于需要大规模部署Agent的公司，这构成了一条结构性的成本护城河。

四、”Token最便宜”不等于”效率最高”

GPT-4.1在这个分析中扮演了教科书级的反面角色。它的Token账单在纸面上漂亮得惊人——比同等任务下的其他模型便宜10到100倍。但Braintrust拆开每条运行轨迹后发现：GPT-4.1在SWE-bench和AppWorld这类硬核任务上的失败率高达53%到90%，它之所以”便宜”，是因为更快地失败了。

没有成功率的成本指标不是效率指标，而是”用更少Token完成一次失败”的数字。衡量效率的正确维度是每次成功成本（cost per success），即单次任务成本除以成功率。这个指标完全重塑了配置排名。

在编码类任务上，开源模型走到了成本效率前沿线的最优位置；在对话客服类任务上，局面彻底翻转——GPT-4.1以每次成功0.02至0.03美元的成本大幅领先Claude的1.95美元。

五、没有全能模型，只有分任务的最优解

六个基准测试，四个不同的冠军。Claude赢下SWE-bench、BrowseComp+和TAU2零售/电信客服；Gemini在TAU2航空客服上以100%成功率夺冠；DeepSeek和Kimi则在AppWorld多应用编排任务上大幅领先。

甚至在同一框架内，不同模型的表现也差距悬殊。AppWorld任务中，Claude在自家原生的claude_code下仅有26%成功率，远低于同框架下DeepSeek的80%和Kimi的78%。模型与任务的匹配度、以及与框架之间的协同效应，远比模型参数的绝对规模更能预测最终表现。

Braintrust还发现，高平均成功率会掩盖致命的局部塌方。某些配置总体得分不错，但在某个具体任务类型上完全崩盘。对创业公司的采购策略而言，这意味着不应当押注单一模型，而应按任务类型构建差异化的模型-框架组合矩阵。

六、两种失败，两种完全相反的监控策略

Agent失败时的行为，在编码任务和对话任务上方向完全相反：

• 编码/多应用任务：失败伴随着”颠簸”。Agent比成功的同行发出更多LLM调用、消耗更多Token、运行更长时间。BrowseComp+的失败运行消耗的Token是成功运行的2.3倍。这类任务需要Token用量上限告警，在Agent陷入无限循环或反复挣扎时及时止损。
• 客服对话任务：模式完全反转。失败的Agent调用更少、Token更少、结束更快——没有颠簸挣扎，直接自信地给出错误答案后收工。这类任务需要下限告警，捕捉那些”过于流畅地完成了一次错误交付”的异常。

一刀切的单一阈值，会帮助一类任务，同时摧毁另一类。

七、给AI Agent创业者的三点行动清单

Braintrust这组数据讲述的是一个比”谁家模型跑分更高”更根本的叙事。真正开始拉开差距的，是模型之外的三项能力：

1. 为每类任务匹配最优框架。不要默认用”官方SDK”或”最流行框架”，要在真实任务上做A/B测试。
2. 用cost per success衡量效率。不要被单次Token成本迷惑，成功率是分母，决定真实成本。
3. 建立差异化的失败监控体系。编码类任务防”颠簸”，对话类任务防”自信错误”。

产品定义的重心需要从”我们接入了哪个模型”转向”我们在什么任务场景、用什么成本结构、以什么成功率交付”。叙事不再是比模型——是比成本、比效率、比工程。