深度阅读页面

当Agent遇上「猪队友」:谷歌开源CLASHarness,实测前沿大模型如何应对多Agent冲突场景

当前页面聚合文章正文、发布时间、上下篇切换、分享交互与延伸阅读内容,帮助用户更顺畅完成深度阅读。

当Agent遇上「猪队友」:谷歌开源CLASHarness,实测前沿大模型如何应对多Agent冲突场景

当前位置

文章正文区域

冠军体育资讯中心-今日赛程与赛事资讯 2026-11-02 589 阅读 约 5.5 分钟

当大模型从“单兵作战”走向“多 Agent 协同操作电脑(Computer Use)”,如果队友 Agent 读了旧缓存报假消息、下发了互相矛盾的指令,甚至锁死了共享文件,主控 Agent 该听谁的?来自 Google、Emory、USC、UF、UChicago、UCSB 和 Columbia 的研究团队联合发布了CLASHarness,首次对 15 个主流大模型在多智能体冲突下的真实表现进行了大考。 现在的 AI Agent 已经越来越多地被组队部署到写代码、云运维、财务对账和企业审批等真实工作流中。但现有的 Computer-Use 基准(如 OSWorld、WebArena)几乎都默认了一个理想前提:环境信息永远一致,所有队友 Agent 都百分之百靠谱。 真实场景显然不是这样。在多 Agent 协作中,子 Agent 经常会因为读了过期缓存而汇报错误状态,或者在文件锁和权限上跟主 Agent 撞车。比如:子 Agent 发消息说“线上服务一切正常,请立刻切流”,但实时监控面板的截图里其实已经在疯狂报错。这时候,主 Agent 如果盲信队友的文字汇报,就会直接酿成线上事故;它必须主动打开监控截图核实真实状态(Ground Truth),并动手回滚配置、释放共享锁。 论文标题:CLASHarness: Benchmarking Multi-Agent Conflict in Computer Use via a Controllable and Verifiable Generation Pipeline 论文地址:https://arxiv.org/abs/2610.19128 开源代码与数据集:https://github.com/google-research/CLASHarness 数据集规模:覆盖 20 个真实领域、600 个多轮可执行冲突任务、7,970 张 4K 视觉证据图片、3,284 项必测检查点。 一、 为什么做“多智能体冲突基准”这么难? 要构建这样一个包含代码库、终端日志、多 Agent 聊天记录和高清 UI 截图的冲突测试集,难点在于:纯靠人工编写根本没法大规模扩展;而如果直接让 LLM 一次性生成,又极易出现前后剧情矛盾、题面不小心泄题、甚至生成连标准答案都过不了的“死题”。 为此,CLASHarness 设计了一套“三层八阶段”自动化生成与验证管线,从源头上保证100% 的任务可解性: 图 1:CLASHarness 的三层八阶段生成管线。绿框代表零成本的代码自动修复,红框代表带报错反馈的局部单步重试。 1.分步规划 + 局部自动纠错(图 1):管线先规划全局大纲和 Agent 角色权限,再按每 3–4 轮滚动生成具体任务,避免长文本上下文跑偏。每轮生成细分为 8 个小步骤:一旦出现路径或格式问题,直接用代码自动修复(0 次模型调用);出现逻辑冲突则只重试出错的那一小步,无需推倒重来,平均仅需95 次 API 调用就能合成一个完整的 10 轮连续任务包。 2. 杜绝文本“走捷径”,关键证据只藏在 4K 图里(图 2):为了防止 Agent 不看图、光靠搜文本混过关,CLASHarness 会先定好解决冲突的关键真值(比如真实账单金额、权限矩阵状态),再渲染出3840 × 2160(4K)分辨率的真实 UI 截图或实景照片,并用自动扫描器清空所有文本文件里的答案线索,逼着 Agent 必须看图取证。 3. 先在沙盒跑通标准答案,再生成评分器:所有任务的评分标准(34.9% 精确代码检查 + 65.1% 语义三票多数决检查)全部直接从真实沙盒里跑通的参考轨迹中提取生成。同时内置23 个模块化冲突插件,开发者可以像搭积木一样按需合成新的冲突测试场景。 图 2:CLASHarness 生成的 4K 视觉证据示例(涵盖监控面板、IAM 权限对账表、算力调度监控与报销账单明细)。 二、 15 大前沿模型实测 四个反直觉的核心发现 研究团队在 600 个冲突任务上评测了15 个主流模型(包括 Claude Opus 5 / 4.8、Sonnet 5、GPT-6 Astra、GPT-5.6 系列、Gemini 3.x 系列,以及开源模型 Kimi K3、DeepSeek V4 Pro / Flash、GLM-5.2),累计跑完了9,000+ 条真实沙盒轨迹。 图 3:15 个模型在 CLASHarness(600 个任务)上的总排行榜。左侧彩条为端到端任务通过率(Pass Rate),右侧为单项检查平均得分(Mean Score)。 发现 1:单点得分不低(~60%),但端到端通过率无一突破 30% 如图 3 所示,在标准 20 步限制下,Claude Opus 5(25.2%)和GPT-5.6 Sol(24

about image

觉得有用?分享给朋友

让更多人看到这篇内容

推荐阅读