社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  chatgpt

寻找 CUA 的 ChatGPT 时刻!顶会 ICLR 2026 硬核直播来袭

青稞AI • 6 月前 • 254 次点击  

图片

主页:http://qingkeai.online/




 

 

如果你去不了南美现场,ICLR26 也没有 CUA 专题的 Workshop,都没关系。

4月19日,青稞社区联合 WebAgentLab 开源社区正式发起「ICLR2026 CUA Workshop」。

我们坚信,好的研究不该只停留在 PDF 和 GitHub Repo 里,而应该在面对面的深入交流中口口相传,找到自己的 target audience,才是对辛苦工作和开源贡献的确认。

CUA 领域的下一段新新影响力,将从这场直播开始。

📅 完整议程

上午场

The Illusion of Self-Improving Agents and What It Actually Takes to Build One

分享嘉宾:谷雨,co-founder of NeoCognition

CUA-Suite: A Unified Ecosystem for Training and Evaluating Computer-Use Agents From Pixels to Actions

Computer-use agents (CUAs) that autonomously interact with desktop interfaces hold great promise for automating complex real-world workflows. Yet progress has been bottlenecked by the lack of large-scale, high-quality training and evaluation resources.

In this talk, I present CUA-Suite, a unified ecosystem of human-annotated data and benchmarks designed to support the full development pipeline of desktop CUAs. CUA-Suite integrates three complementary resources: UI-Vision, a comprehensive desktop GUI benchmark spanning diverse professional applications;

GroundCUA, a large-scale grounding dataset with 3.5M densely annotated UI screenshots covering interactable elements as well as GroundNext models trained upon it; and VideoCUA, the largest open expert video corpus for desktop computer use, comprising 55 hours of continuous 30 fps demonstrations across 87 professional applications.

Together, these resources have accumulated over downloads ~500k on Hugging Face, reflecting broad community adoption. I will discuss key design decisions, annotation pipelines, findings in training ane evaluation, and my understanding on open research directions toward more capable and generalizable computer-use agents.

分享嘉宾:Xiangru (Edward) Jian is a PhD candidate in the Data Systems Group at the University of Waterloo, advised by Prof. M. Tamer Özsu, with research focused on LLM applications for data management spanning both structured data (relational tables, knowledge graphs) and unstructured data (images, videos).

He is also an incoming research intern at Salesforce AI Research and previously a visiting researcher at ServiceNow AI Research, where he co-led several projects on multimodal learning and computer-use agents. His work has been published at top venues including ICLR, ICML, NeurIPS, ACL, EMNLP, NAACL and ICDE.

面向动态环境的 computer-use agent 自主持续学习:摆脱人工数据依赖

尽管大模型能力日益强大,现有的 Computer-use Agent 在走向真实世界时仍面临两大核心瓶颈:环境的高度动态性与数据获取的高成本。真实世界的界面、版本与平台持续变化,静态训练难以适应;同时,依赖人工标注的数据不仅成本高昂,更难以规模化扩展。

针对这些挑战,我们提出了 ACuRL ——一种零人工数据的自主持续学习框架。

ACuRL 从环境出发,通过 Environment Exploration(环境探索)与 Context Review(上下文回顾)深度理解环境;

在此基础上,系统能自动生成可解任务,并利用提出的 CUAJudge 模块提供可靠的奖励信号;

最终,基于 Curriculum-guided RL(课程引导强化学习),实现高效的持续进化。

在实验评估中,ACuRL 在多个真实环境中展现出持续提升的性能,有效缓解了环境动态变化带来的干扰以及灾难性遗忘(Catastrophic Forgetting)问题。

分享嘉宾:薛天赐,俄亥俄州立大学自然语言处理研究组的二年级博士生。目前我的研究主要聚焦于如何在真实的数字环境中持续提升 computer-use agent 的能力,使其能够解决复杂的 long-horizon 任务,同时尽可能减少 human effort。研究兴趣也涵盖 agentic RL 以及如何更好地解决 sparse reward 等问题。

AMA(Ask Me Anything) 环节

参与嘉宾:谷雨|简相如|薛天赐

开源、基建、大一统与 CUA 的 ChatGPT 时刻

主持人:孔德涵

嘉宾:谷雨、彭冲(CUA 创业者,前美团 CUA 负责人)、杨凌宇(Minimax)、承洲骏(Ph.D @ UCSD)


下午场

面向泛化与真实任务能力的 Web Agent

主要介绍在 Web Agent 方向上的几项工作,包括 WebFactory、WebChain,以及下一步计划推进的 WebClone + Agentic RL。

整体主线是:如何从高质量数据、可控环境和强化学习训练三个方面,推动 Web Agent 走向更强的泛化能力和真实网页任务能力。

分享嘉宾:范思诚,复旦大学研究生二年级,WebFactory 一作(ICLR2026)、WebChain 一作(CVPR2026)、WebAgentLab 社区核心贡献者。

Mobile-Agent-v3.5: Multi-platform Fundamental GUI Agents

开源 Mobile-Agent-v3.5 及其核心 GUI Agent 基座模型 GUI-Owl-1.5,支持 PC、Mobile、Browser 等多种平台,提供 2B 到 32B 多种参数规模,在 20+ 个 GUI 基准测试上取得开源模型 SOTA 表现,覆盖

  • • 1)操作自动化任务,OSWorld56.5、AndroidWorld71.6、WebaArena48.4;
  • • 2)Grounding 任务,ScreenSpot-pro80.3;
  • • 3)工具/MCP 任务,OSWorld-MCP47.6;
  • • 4)Memory/Knowledge,GUI-Knowledge75.5。

论文提出三项核心创新:混合数据飞轮,结合模拟环境与云端沙箱构建高效数据生产流水线;Agent 能力统一增强,通过统一思维链合成管线提升推理、工具调用、记忆管理等关键能力;多平台环境 RL 扩展(MRPO),解决多平台任务冲突及长时序任务训练效率问题。

项目链接:https://github.com/X-PLUG/MobileAgent

分享嘉宾:徐海洋,阿里通义实验室高级算法专家,负责通义多模态大模型 mPLUG 系列工作,包括基础多模态模型 mPLUG/mPLUG-2,多模态对话大模型 mPLUG-Owl/Owl2,多模态文档大模型 mPLUG-DocOwl,多模态智能体 Mobile-Agent 等,其中 mPLUG 工作在 VQA 榜单首超人类的成绩。

在国际顶级期刊和会议 ICML/CVPR/ICCV/ACL/EMNLP/MM/TOIS/IJCAI/AAAI 等发表论文 30 多篇,并担任多个顶级和会议 AC/PC/Reviewer。主导参与开源项目 mPLUG,X-PLUG,AliceMind,DELTA。

OSWorld-MCP: Benchmarking MCP Tool Invocation in Computer-Use Agents

目前 Computer-use Agents 已经能执行安装软件、编辑文档等多种复杂任务。然而,现有的评测方法几乎只考查它们在图形界面(GUI)上的键鼠操作能力,对外部工具调用的能力关注不足,导致不同模型间的对比常常不够公平。

因此我们推出了 OSWorld-MCP,是首个在真实场景下同时评估 GUI 操作、工具调用能力、混合决策效率的综合性开放基准。 该基准通过自动化流程与人工验证构建了 158 个高质量工具,覆盖 7 个常用应用。

评估表明,MCP 工具能提升任务成功率,但当前模型工具调用率仍偏低,凸显了该基准的挑战性与重要性。

主页地址:https://osworld-mcp.github.io/

分享嘉宾:张熙,阿里通义实验室高级算法工程师,博士毕业于中科院自动化研究所,负责多模态智能体 Mobile-Agent 等工作。在国际顶级期刊和会议 TPAMI/TIP/CVPR/ACM MM/TMM/TCSVT 等发表论文,曾获得 CCL BEST Demo、China MM BEST Paper、VCIP BEST Student Paper、中科院院长奖等,担任多个顶级会议与期刊 Reviewer,并在开源社区 Github 获得 236k star。

构建全场景计算机智能体:跨领域探索、安全护栏与开源生态

计算机智能体(Computer-Using Agents, CUA)在近年来获得了长足的发展,拥有了主动操控真实软件和操作系统的能力。无论是在包含复杂专业软件的科学计算界面,还是在移动端手机系统,CUA 有望成为不可或缺的 AI 助手与合作者。

面对截然不同的数字环境,我们系统性地探索了智能体落地的三个命题:如何在专业领域激发其探索未知的能力?如何在开放环境中约束其高危操作?以及如何在动态 Mobile 环境中合成高质量智能体轨迹数据?为此,我们本次分享围绕如下三个内容:

1、 ScienceBoard (ICLR’26) 计算机智能体助力全自动化 AI 科学家之路:为探索 CUA 成为全自动化的科学合作者的愿景,我们开创性地构建了可靠的自主科学探索环境与多领域评测基准,用以精确衡量智能体在真实科研软件中完成自动化任务的可行性与边界。

项目主页: https://qiushisun.github.io/ScienceBoard-Home/

2、 OS-Sentinel (ACL’26) 构建移动端智能体的安全基准与混合验证护栏:随着智能体操作权限的提升,系统破坏与隐私泄露风险日益凸显。

我们不仅构建了首个针对真实移动端工作流的安全交互环境与评测基准,更提出了一种结合形式化验证器与大模型裁判的混合安全框架,为智能体配上可靠的动态护栏。

项目主页: https://qiushisun.github.io/OS-Sentinel-Home/

3、 OpenMobile (Preprint) 开源的 Mobile Agent 模型、数据和轨迹合成框架:近期 Mobile Agent 能力取得了明显进步。然而,一些典型工作没有开源相关数据和关键的智能体轨迹合成框架,使得开源社区难以研究、复现和进一步创新。

我们提出 OpenMobile,一个开源的轨迹数据合成框架,从任务指令生成和轨迹收集两个角度提升合成数据质量。我们在三个动态基准进行了评测和透明的分析,以揭示影响合成数据有效性的关键因素,为社区复现前沿能力与持续创新提供了关键的数据基础。

分享嘉宾 :孙秋实,香港大学博士生,研究方向为 Computer-using Agents 与 Code Intelligence,在 ACL、EMNLP、ICLR、COLM 等自然语言处理与机器学习顶级会议发表多篇论文,谷歌学术引用超过 2000 次,担任多个国际会议与期刊的领域主席和程序委员会委员。其关于 Computer-using Agents 的系列研究成果被广泛应用于学术研究与工业界实践中。

个人主页:https://qiushisun.github.io/

程瞰之,南京大学、南洋理工博士生,曾在 Shanghai AI Lab、微软研究院实习。我的研究方向包括数字智能体、视觉语言模型等,关注构建能够在数字世界中执行复杂任务的多模态智能体。在 GUI Agent 领域发表了一系列工作,包括 SeeClick、OS-Atlas、OS-Genesis、GUI-Actor 等,在 ACL、NeurIPS、ICLR 发表论文十余篇。

通向可落地的 GUI Agent:通义 GUI 基座模型 MAI-UI、UI-Ins (ICLR 2026) 技术报告

GUI 智能体正驱动人机交互范式的深刻变革,本报告介绍通义团队 GUI Agent 基座模型 MAI-UI。针对 GUI 落地中的挑战,MAI-UI 核心技术亮点如下:

  • • 全尺寸基座:覆盖 2B,8B,32B,235B-A22B 的全尺寸模型,适配不同算力约束。
  • • MCP 调用:MAIUI 原生具备 MCP 工具调用能力,能够把长链路 UI 操作压缩成少量 API 调用,并且使得手机端直接执行“桌面级工作流”。
  • • 用户交互:当指令不完整或模糊时 MAI- UI 会主动交互,并将澄清信息纳入记忆,确保任务执行与用户的真实意图对齐。
  • • 自进化数据管线:拒绝采样迭代使模型能力与训练数据同步进化;细粒度 Judge 显著提升自动化生产轨迹利用率。
  • • 大规模在线 RL:最大并行环境 500+、最大环境交互步数 50+,验证了 scale 并行环境规模与最大环境交互步数的对性能的提升。
  • • 原生端云协同:端侧模型既执行 GUI 任务,又作为 Monitor 判断是否需要切换云端模型,实现性能、成本与隐私保护之间的平衡。

实验结果:MAI-UI 所有尺寸模型在多项 benchmark 全面刷新 SOTA。GUI 视觉定位上:ScreenSpot-Pro 73.5%,MMBench GUI L2 91.3%,OSWorld-G 70.9%,UI-Vision 49.2%,ScreenSpot-v2 96.5%,在 ScreenSpot-Pro 上超越 Gemini-3-Pro 和 Seed1.8。

手机端 GUI 任务执行方面:AndroidWorld 达到 76.7% 刷新 SOTA,超越 UI-Tars-2、Gemini-2.5-Pro 与 Seed1.8;在团队提出的 MobileWorld 在线评测集,MAI-UI 达到 41.7%,显著优于端到端 GUI 模型。在 AndroidWorld 上,端云协同系统将端侧性能提升 33%,云模型调用减少超过 40%。

项目主页 &Demo:

MAI-UI: https://tongyi-mai.github.io/MAI-UI-blog/
UI-Ins: https://github.com/alibaba/UI-Ins/

分享嘉宾:周翰章,通义实验室研究员,MAI-UI 一作。本科毕业于复旦大学,博士毕业于新加坡南洋理工。主要研究方向为 GUI Agent, Agent Harness, LLMs, Mechanistic Interpretability。在 NeurIPS、ICLR、ACL 等会议发表论文 10 余篇。

MobileWorld:面向真实场景的自主移动端智能体评测基准

GUI Agent 是多模态大模型落地移动端的重要方向,但现有评测基准普遍任务简单、场景单一。

本工作提出 MobileWorld(ACL 2026),一个面向移动端 GUI Agent 的综合评测框架,涵盖 20 款应用共 201 项任务,平均完成步数达 27.8 步,其中 62.2% 的任务涉及跨应用协作,难度显著超越 AndroidWorld。

MobileWorld 同时引入两类全新任务范式:Agent- 用户动态交互任务(占 22.4%)和 MCP 工具增强任务(占 19.9%)。此外,评测基准支持确定性验证,通过自托管应用后端实现数据库级别的结果核查,保障评测可信度。在最近更新中,Seed-2.0-Pro 、Gemini 3 Pro、KIMI K2.5、Qwen-3.5 等最新模型也已完成评测加入榜单。

分享嘉宾:孔去愚,通义实验室多模态交互团队算法工程师,博士毕业于澳大利亚国立大学。主要研究方向为 GUI Agent、多模态大模型等。在 NeurIPS、ICML、ICLR、ACL、WWW 等国际顶级会议发表多篇长文。

AMA(Ask Me Anything) 环节

参与嘉宾:范思诚|徐海洋|张熙|孙秋实|程瞰之|周翰章|孔去愚

主办方介绍

青稞社区: 面向 AGI 时代青年科学家的 AI 技术社区,围绕前沿技术展开分享与交流,连接人与技术,促进合作与持续成长。

WebAgentlab 开源社区: 一个专注于 GUI Agent 的开源创新社区。作为目前业内规模最大、最具专业影响力的 GUI Agent 社群,我们已吸引超过 5,000 名来自学术界与产业界的专业成员,共同推动行业发展。社区以“穿越噪点,链接先锋,开源共建”为核心理念。

💬 加入交流群,获取一手资料

想要提前围观交流、寻找工程落地伙伴,或者获取活动后的技术拆解与回顾稿? 可以直接扫码进群~~

如群已满可添加扫码小助手,发送暗号「CUA」,小助手会火速拉你入群。

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/195106