研究发现 AI 智能体团队消耗大量 token 但质量提升微乎其微
Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5 发现,多智能体团队仅一个比较有统计显著改善,成本却是单智能体的 1.8 到 5.1 倍。在最大推理档位,团队设置对两款模型都没有实际优势。Anthropic 与 OpenAI 研究者也指出,多智能体主要换来速度而非更好的输出质量。
Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5 发现,多智能体团队仅一个比较有统计显著改善,成本却是单智能体的 1.8 到 5.1 倍。在最大推理档位,团队设置对两款模型都没有实际优势。Anthropic 与 OpenAI 研究者也指出,多智能体主要换来速度而非更好的输出质量。
哈佛大学研究者 Fiona Chen 和 James Stratton 分析覆盖700多家公司、3亿工作事件的数据后发现,AI编程代理生成更多代码,但代码评审成为瓶颈,几乎没有证据表明企业因此增加软件产出或减少就业。研究基于 Jellyfish 的聚合工程数据,涵盖2021年至2026年3月超过70万名员工;同时代码评审时长显著增加,pull requests 更可能需要修改,审阅者留下更多评论。
Nemotron Labs 团队微调 Nemotron 3,在 IOI 2026 和 IMO 2026 均达到金牌水平,分别得分 535.4/600 和 30/42。
推荐理由:原文给出可复用的四步微调配方,并开放检查点与数据,为竞赛级任务的领域专业化提供了具体参照。
GitHub 发布 AI 代码评审开放基准 ReviewBench,其语料来自 1.039 亿个 GitHub PR 的分布,包含 19 种语言、187 个开源许可证仓库的 219 个 PR。
推荐理由:它基于 1.039 亿 GitHub PR 分布构建,公开数据集与裁判配置,并给出与 Copilot 线上实验方向一致的线下信号,便于团队用同一基准迭代评审智能体。