同样是Agent,有人让它监控训练进展很顺手,有人让它修改推理代码却不断返工。把差别全部归结为“提示词没写好”,往往解释不了问题。

  OpenAI在2026年11月18日发布的内部研究报告给出了一个更具体的观察:任务类型会显著影响Agent表现。 报告中的独立完成率,并不是一个能套到所有研发工作的统一数字。

先把46%的分母讲清楚

  报告估计,从3月到10月,对于预计需要人类两到四小时完成的研究任务,Agent独立完成率从23%上升到46%;四到八小时任务则从13%上升到35%。

  这里的“两到四小时”是任务的人类耗时估计分组,不能直接理解成Agent必须运行两到四小时,也不能理解成所有研究工作已经有46%由AI接管。

不同人类耗时估计分组的任务完成率变化

图1:根据OpenAI报告中的明确数字重绘。数据为内部研究任务的估计独立完成率,比较2026年3月与10月;不是本人测得的通用编程成功率。

  更不能把它和“公司有多少工作岗位可以被替代”画等号。任务是否完成、科研方向是否值得做、结果是否产生新认识,属于不同问题。

同一个报告里,任务类型的差距更值得看

任务类型报告中的独立完成率
监控训练运行79%
启动训练运行35%
为推理与服务栈写代码25%

三种研究任务的独立完成率

图2:根据官方报告重绘,三项沿用报告的任务分类;图中数值不能与前图的耗时分组直接相乘或合并。

  这些数字支持“能力提升并不均匀”,却不能单独证明每种差距的原因。

  一个有用的工作流解释是:监控类任务通常更容易列出要观察的信号和异常条件;修改服务代码则可能牵涉上下游行为、隐含要求和多种资源约束。这是帮助理解任务委派的分析,不是报告已经隔离验证的因果结论。

给Agent更多任务以前,先写清楚什么叫完成

  设想一个独立的公开课程资料整理任务。只要求“帮我整理好”,最终很容易得到一份看起来完整、实际缺链接或重复项的目录。

  可以先把完成标准改成可以检查的内容:每项必须有标题与可回查来源;同一课程不要重复收录;缺内容的页面不能被写成已读全文;最终目录中的链接必须能对应到材料。

  这些条件并不能保证所有判断正确,但能减少一种常见失败:Agent和人对“已经做好”的理解不同。

  对于需要主观判断的部分,例如哪些材料最值得学习,则另外保留人工取舍。把确定的要求交给检查,把仍有分歧的部分展示出来,比一句“请全面提高质量”更容易执行。

一个样例通过以后,再扩大任务量

  报告中的研究人员描述过类似做法:先让模型做一个样例,自己审查并修改,然后再做剩下的任务。其他反馈还包括Agent可能在不必要的步骤里打转、生成不可用的数据产物,或作出无效的分析假设。

  迁移到日常使用,可以采用三个连续动作。

  1. 先交一项。 例如先整理一份课程,而不是一次抓取一百份。
  2. 检查实际产物。 重点看来源是否存在、是否遗漏、分类是否符合目标,而不是只看回答是否流畅。
  3. 把改动写回规则,再批量处理。 批量完成后继续抽查,保留失败项,不把一次通过当成以后永远正确。

  这套做法的意义,是在成本还小的时候暴露标准不清的问题。它是可以尝试的方法,不是这篇报告已经证明对所有任务都有效的效率公式。

代码更多、实验更多,不一定代表研究更快

  报告还区分研究活动与研究进展。代码改动、实验数量更容易统计,但数量增长本身不能证明研究质量同比提高。

  同样地,个人使用Agent也不必把“今天发了多少条指令”“开了多少个Agent”当成主要成绩。更实用的是看:交付物能不能用;人需要修正哪些错误;同样的错误是否重复;任务是否因为无关步骤迟迟不能结束。

  下一次安排长任务,可以先把它拆成一项容易检查的工作,明确失败表现和交付物。先观察这个小任务是否稳定完成,再决定把下一步交出去。

  参考资料:OpenAI,Research acceleration: The jagged frontier,2026年11月18日。

Logo

宁波官方开源宣传和活动阵地,欢迎各位和我们共建开源生态体系!

更多推荐