ClawGUI团队 投稿赌钱赚钱官方登录

莫得东说念主工拦截，莫得预设剧本，AI我方看屏幕、判断时局、策划破除旅途、点击实验。

看着它一步步把方块消掉，疼痛有种解压感。

这不是游戏外挂，而是一个通用GUI智能体在「厚爱职责」：它用的是和操作手机App、填写表单、浏览网页完全调换的视觉领会与操控才智。能玩消消乐，仅仅因为它确实学会了「看懂屏幕并操作」这件事。

那么问题来了：一个能我方玩消消乐的AI，离替你完成普通手机操作还有多远？不是那种「帮我设个闹钟」的语音助手，而是确切像东说念主雷同，看屏幕、领会界面、滑动点击、逐渐完成复杂任务的智能体。

刻下GUI智能体琢磨广泛濒临一个结构性挑战：素质、评测、部署三个要道彼此割裂，难以形成闭环。模子在仿真环境里素质完成后，经常缺少配套的工程旅途转移到真实设置；评测体系范例不一，不同框架下的数字难以横向相比；而部署到真实设置，又需要寥寂搭建一套工程基础方法。三个要道各利己战，举座推动的老本极高。

今天，来自ZJU-REAL的团队带来了ClawGUI，一个掩盖GUI智能体在线RL素质、范例化评测、真机部署完竣生命周期的开源框架。不是三个寥寂器具的粗豪拼接，而是一条买通的活水线：用ClawGUI-RL素质，用ClawGUI-Eval评测，用OpenClaw-GUI部署，端到端考据。

基于这套活水线，一个仅2B参数的小模子ClawGUI-2B，在MobileWorld基准上取得17.1 SR，大幅越过基线的11.1，达到了接近8B模子的水平。

△ClawGUI系统架构总览

ClawGUI-RL：让GUI模子在环境中稳步栽种

GUI Agent的RL素质需要与真实设置进行抓续交互，截屏、瓦解、操作、取得反映，形成完竣的episode。这意味着素质基础方法不仅需要模子素质框架，还需要大范畴环境仿真和设置管制才智。ClawGUI-RL是当今开源社区中为数未几的、经过端到端考据的GUI Agent Online RL科罚决议。

具体来说，ClawGUI-RL将总计这个词素质基础方法拆解为三层：环境管制、奖励瞎想、战术优化。

环境层面，总计设置后端（Docker假造机和物理手机）被长入抽象为吞并套接口，素质代码无需离别底层是模拟器照旧真机。每个环境投诚「重置→实验→评估→回收」的范例生命周期，配合Spare Server轮转和周期性重启，保证长本事素质的相识性。

奖励层面，ClawGUI-RL选定二元后果奖励+PRM逐渐奖励的双层瞎想。后果奖励在episode驱散时给出胜仗/失败的0/1信号，PRM则在每一步操作后笔据前后截图和历史行为判断刻下操作是否灵验推动了任务，两者相加组成最终奖励。这种茁壮的逐渐反映极大缓解了GUI长序列决策中奖励寥落的问题，让优化器能够离别哪些中间门径是有价值的、哪些是无效绕路。

战术优化层面，ClawGUI-RL搭救GRPO、GiGPO等主流强化学习算法，并提供长入的素质接口，通俗琢磨者笔据任务特质纯潜入换和对比不同优化战术。

△ClawGUI-RL架构图

假造环境与真机素质

基于Docker的Android假造环境，ClawGUI-RL搭救多量假造Android环境同期并行初始。内置的Spare Server轮转移制保证了素质的鲁棒性，当某个容器截图失败或设置不健康时，系统自动切换至备用功绩器，素质不中断。团队提供了经过考据的端到端真机RL素质经由，物理手机和云手机均可接入。真机素质的交互公约与假造环境完全一致，为后续大范畴云手机素质铺平了说念路。

PRM逐渐奖励：不啻看后果，每一步都给分

范例GRPO为总计这个词Episode分拨一个单一的上风分数，胜仗了即是1，失败了即是0，中间门径好不好完全非论。这就像老到只看总分，不知说念哪说念题作念对了哪说念作念错了。ClawGUI-RL通过引入过程奖励模子（PRM）改换了这极少，对每一步操作进行评估，提供更密集的梯度信号，已毕更综合的战术优化。

实验后果

以MAI-UI-2B为基座，ClawGUI-2B在MobileWorld基准上的证实：

几个重要数字：ClawGUI-2B达到17.1 SR，大幅越过MAI-UI-2B基线（11.1），栽种幅度达6%。一个2B小模子，达到了接近8B模子的水平。

ClawGUI-Eval：95.8%复现率，让评测后果实在

GUI模子评测界限长期濒临复现一致性的挑战：不同框架、不同已毕细节下，吞并模子的评测数字经常存在显著各异。差个prompt方法、搞混坐标系、调错分辨率，后果就可能偏差数个百分点。

ClawGUI-Eval通过范例化的Infer→Judge→Metric三阶段活水线系统性地科罚了这个问题。

△ClawGUI-Eval评测框架

掩盖6大Benchmark（ScreenSpot-Pro、ScreenSpot-V2、UIVision、MMBench-GUI、OSWorld-G、AndroidControl），搭救11+模子（Qwen3-VL、Qwen2.5-VL、UI-TARS、MAI-UI、GUI-G2、UI-Venus、Gemini、Seed 1.8等）。48个有官方基准的格子中胜仗复现46个，总体复现率95.8%。前沿模子Gemini 3.0 Pro和Seed 1.8在ScreenSpot-Pro上已毕100%复现，并初次评测了Gemini 3.1 Pro（85.01）。

踩坑踩出来的复现Tips

比数字更有价值的，是团队纪念的重要复现资格，每一条都是用准确率换来的资格：

1. 坐标系统不匹配=准确率归零。Qwen2.5-VL输出十足像素坐标，Qwen3-VL输出[0,1000]归一化，StepGUI用[0,999]，搞混一个即是横祸。

2. 图文输入规章（tv vs. vt）可导致数个百分点各异。大部分模子需要图片在前（vt），MAI-UI需要文本在前（tv），用错平直崩盘。

3. 哪怕一句”You are a helpful assistant.”也能带来约1%的栽种。System prompt必须严格对都官方。

4. Prompt方法必须逐字对都。措辞细微各异就可能影响后果。

5. 温度提议设为0.0。非零温度影响坐标精度。

总计推理后果已一都开源，接待下载考据。

OpenClaw-GUI：一句话为止手机

GUI智能体确切的价值，在于能够在用户手边的真实设置上初始、帮东说念主完成实质任务。OpenClaw-GUI恰是为此而生，把GUI智能体带到真机上落地。

基于nanobot框架构建，OpenClaw-GUI已毕了通过当然言语为止真实手机。接入飞书、QQ、Telegram、Discord、Slack、钉钉等12+聊天平台，用户在聊天窗口发一句提示，Agent就能截屏领会界面、策划操作旅途、实验点击和输入。

更重要的是，OpenClaw-GUI把评测也集成进来了。说一句「帮我测一下qwen3vl在screenspot-pro上的策划」，Agent会自动完成环境检测→多GPU推理→判分→策划计较→后果对比。这自己即是CLI+GUI合作的绝佳例证，计较密集型职责由CLI高效完成，东说念主机交互和后果呈现依赖GUI。

中枢才智：跨平台搭救Android（ADB）、鸿蒙（HDC）、iOS（XCTest）；多模子接入AutoGLM、MAI-UI、GUI-Owl、Qwen-VL、UI-TARS；个性化缅念念，自动学惯用户偏好，跨任务抓续复用；Episode记载，每次实验以结构化Episode保存，搭救回放与数据集构建；Web UI基于Gradio，搭救设置管制、任务实验与缅念念检察。

预测：GUI的故事远未驱散

2026年，CLI Agent无疑是最火的赛说念。Claude Code、Gemini CLI、CodeBuddy……一个当然的问题暴露：GUI智能体还有必要吗？

琢磨团队倾向于觉得：GUI的故事远莫得驱散，CLI+GUI的会通能够是通往通用Agent的一条遑急旅途。

东说念主类短期内离不开GUI。从笔墨到图片到视频，越容易被感知的引子越具备传播上风。外卖、打车、酬酢、购物，挪动互联网绝大多数的交互发生在图形界面上。至少在可见的畴前，GUI仍将是数字全国的主要进口。

不是总计App都有API。微信、银行、多量企业里面系统惟有图形界面。CLI面向Agent实验，高效干活；GUI面向东说念主类领会，感知和交互。两者更像是互补联系而非替代联系。

GUI的「可见性」提供了一种私有的信任机制。假如Agent在实验任务时波及支付操作，CLI以用户看不见的方式平直完成了付款，形成的归天谁来承担？GUI操作到重要门径时，用户不错看到屏幕上正在发生什么、随时介入。这种可控性可能是纯CLI决议较难提供的。

Online RL的工程挑战远未被科罚。GUI Agent的RL素质需要与真实App交互，登录考据、反爬机制、动态UI变化，大范畴RL Scaling的相识性还是行业贫瘠。ClawGUI-RL的Spare Server轮转和周期性重启机制是一个初步的探索，距离大范畴坐褥级素质还有很长的路要走。

路子图

ClawGUI的策划不啻于此：OpenClaw-GUI搭救当然言语手机操控与评测；ClawGUI-RL可彭胀的Mobile Online RL素质基础方法，搭救PRM逐渐奖励；ClawGUI-Eval范例化评测套件，6个Benchmark，95%+复现率；ClawGUI-2B达到17.1 SR（基线11.1）；后续将推动真机部署OpenClaw-GUI，平直部署在手机上幸免云霄诡秘闪现；Desktop / Web Online RL，将在线RL彭胀至桌面和网页环境；以及基于OPD算法的及时强化学习。

纪念

ClawGUI不是要证明GUI比CLI更好，而是念念探索一种可能性：素质、评测、部署买通之后，GUI智能体能走多远？CLI和GUI的合作又能开释出奈何的后劲？

ClawGUI-RL让GUI Agent的在线素质从假造环境走向真机，ClawGUI-Eval为社区提供了一套实在赖的评测范例，OpenClaw-GUI把GUI智能体从琢磨带到了真实设置。

容貌已开源赌钱赚钱官方登录，接待Star搭救，让更多东说念主看到GUI Agent的可能性。