昔日一年，AI 与手机的关联正在被从头界说：OpenAI AI Phone / AI Agent Phone 把「AI 原新手机」推到台前，Gemini on Android 也在把系统级助手从问答带向跨 App、多程序任务协助。

这些信号指向归并个趋势：AI 不再仅仅聊天框里的回话者，而是正在进动手机这个最泛泛、最复杂、也最具情景性的推断环境。

腾讯混元牵头，辘集 The Chinese University of Hong Kong、The Chinese University of Hong Kong， Shenzhen、Tsinghua University 等机构的最新盘问 PhoneHarness: A Mixed-Action Orchestration Harness and Benchmark for Phone Agents across CLI， GUI， and MCP Tools 吝啬一个更基础的问题：当 AI 的确在手机上行径，咱们如何让它的确完成任务，并考证它照实完成了？

作家团队给出的论断是：

手机 Agent 的中枢不仅仅「更会点屏幕」，而是能根据任务礼聘 CLI、GUI、MCP 器用等合适的行径面；

真实手机 workflow 需要可考证的反作用：文献是否生成、确立是否转换、邮件 / 日期对象是否真的创建，齐不成只靠模子表面回话；

PhoneHarness 提供 mixed-action 实验 harness；PhoneHarness Bench 则用 trace、系统情景、App 限度和安全政策评估任务是否真的完成。

技俩主页：https://phoneharness.github.io/

GitHub：https://github.com/PhoneHarness/PhoneHarness

HuggingFace Dataset：https://huggingface.co/datasets/PhoneHarness/phoneharness-bench

先看三个实验片断：手机 Agent 不仅仅点屏幕

底下三个 demo 展示了 PhoneHarness 念念抒发的中枢各异：真实手机任务经常不是一条更长的 GUI 点击链，而是 CLI、GUI、MCP-style tools 与 verifier 共同组成的实验 workflow。

Demo 1｜CLI-first：先读拓荒情景，再决定是否插足 GUI

视频一语气：https://mp.weixin.qq.com/s/I2ztL6sFiHGxAiCfh_FTqg

Demo 2｜Mixed workflow：MCP 检索 + GUI 实验 + verifier 复核

视频一语气：https://mp.weixin.qq.com/s/I2ztL6sFiHGxAiCfh_FTqg

Demo 3｜Virtual display：后台 GUI 实验与经由留痕

先把第一个问题讲明晰：手机 Agent 真的「作念了」吗？

在好多手机 Agent 评测里，任务被拆成一连串 GUI 操作。模子不雅察屏幕，决定下一步点那里、滑那里、输什么。要是终末 UI 情景看起来对，就算任务完成。

这套范式固然有价值。毕竟，手机照实是一个强 GUI 环境，真实 App 的搜索、浏览、点击和输入齐需要视觉 grounding。

但关于 AI 手机时期的 Agent 来说，只会 GUI 操作远远不够。

传统 GUI-centric 视角：

把手机任务行为 screenshot → tap /swipe/type；

视觉感知险些是悉数动作实验的前置操作；

更相宜单 App、强视觉、低反作用任务。

PhoneHarness 的 mixed-action 视角：

把手机任务行为跨 CLI、GUI、MCP 器用的完满 workflow；

评估要点不是「看起来完成」，而是反作用是否真实发生、trace 是否可审计；

更相宜系统确立、文献、搜索、邮件、日期和跨 App 任务。

举例，「查一个 App 内的信息，再伙同网页搜索补充配景，并整理成邮件」这类任务，不是一个更长的点击链。它同期包含 App 内 GUI 交互、外部信息检索、文本防守、邮件反作用，以及最终限度考证。

要是评测只看最终回话，就会漏掉最要津的问题：模子到底有莫得核对起首、有莫得真的创建文献、有莫得真的发出邮件、有莫得绕过了应该被阐述的高风险操作？

中枢判断：PhoneHarness 的起点很径直：手机 Agent 的评测不成只问「它会不会点屏幕」，而要问「它能不成在真实手机环境里把一件事作念完，并留住可考证凭证」。

PhoneHarness：让手机 Agent 的行径空间不啻 GUI

PhoneHarness 的中枢不是再造一个 GUI 点击器，而是把手机任务放进一个夹杂动作空间里。

要津区别：问题不是「纯 GUI 表面上能不成作念」，而是「纯 GUI 是否是可靠、高效、可考证的动作轮廓」。真实手机 workflow 经常同期杰出系统情景、App 界面、文献、网页、邮件、日期和安全限度。GUI 是蹙迫进口，但不应该是惟一进口。

因此，mixed-action 不是给 GUI agent 加几个外挂器用，而是让 agent 在实验经由中为不同子筹画礼聘合适的 action surface：能用详情生呐喊读取情景，就不消反复点确立页；必须插足 App 内完成交互时，才交给 GUI；需要外部信息、文献防守或限度复核时，kaiyun开云体育世界杯中国网页版登录入口则调用 host-side tools 或 verifier。

为什么 mixed-action 比纯 GUI 更稳

PhoneHarness 架构图：host-side orchestration 与 Android device-side execution 共同组成 mixed-action harness。

在 PhoneHarness 中，agent 不错在三类行径面之间切换：CLI /device-side commands、GUI delegation、以及 MCP-style host tools。

图解：PhoneHarness 的三类行径面

PhoneHarness 的 mixed action space：CLI、GUI 与 MCP-style tools 在归并个 phone-agent loop 中共存。

这意味着，PhoneHarness 里的 agent 不消把悉数任务齐硬塞进 GUI 点击链。它不错判断：什么技能该走系统呐喊，什么技能该交给 GUI worker，什么技能该调用搜索、文档、邮件、日期等器用。

这种设想更接近 AI 手机时期的真实需求。AI 手机不是「在手机里放一个聊天机器东说念主」，而是让智能体能在复杂手机环境里剖判筹画、礼聘行径、实验任务，并产生可搜检的限度。

PhoneHarness Bench：如何构建并考证手机 workflow

有了 mixed-action harness，还需要一个能的确查考实验限度的 benchmark。原因很节略：敌手机 Agent 来说，能行径未便是真的完成了任务。

PhoneHarness Bench 缔造在 PhoneHarness 之上，2026美加墨世界杯不把任务写成轮廓问答题，而是写成一段不错实验、记载和复核的 phone workflow。Agent 在实验经由中会留住截图、CLI / MCP 操作、文献变化、系统情景和 App 侧限度；benchmark 再通过 task-specific verifier 判断任务反作用是否真实发生。

Bench 的要津：PhoneHarness Bench 不问「模子有莫得说我方作念完」，而是看「任务凭证链是否撑握它真的作念完」。这亦然它区别于纯问答式评测和纯 GUI 情景评测的要津。

PhoneHarness Bench 如何考证任务完成

Bench 是如何构建的？

每个 PhoneHarness Bench task 齐包含一个用户筹画、一组可调用行径面，以及一个面向反作用的 verifier。这么，benchmark 评估的不是单步 GUI 操作，而是完满 workflow：任务输入、agent loop、夹杂动作实验、trace 记载、限度考证和失败归因。

PhoneHarness Bench 的任务散布：障翳 device/system、single-app GUI、tool-assisted workflow 与 cross-app workflow。

为什么这能匡助分析失败？

这条链路让失败不再仅仅一个磨蹭的「没作念对」。咱们不错进一步差异：是外层 controller 没贪图好，是 GUI worker 莫得点对，是器用调用失败，是环境不踏实，照旧 verifier 莫得看到预期反作用。

代表性实验轨迹：截图、CLI / MCP 操作卡片与 verifier 信号共同组成可审计凭证链。

实验发现：收益来自 mixed-action routing，不是单纯更会点屏幕

在论文实验中，咱们莫得把 PhoneHarness 形势成一个「悉数场景齐更强」的 GUI agent。违反，实验更明晰地露馅了它的限度和价值。

PhoneHarness 的收益主要来自那些存在详情趣旅途、器用支持旅途或可考证反作用的任务。比如拓荒情景查询、文献防守、网页检索、日期 / 邮件 / 文档关联 workflow，以及需要跨行径面组合的手机任务。

关于纯 GUI-heavy 的任务，视觉 grounding、权限弹窗、登录情景、告白、搜索限度不踏实等问题仍然会带来挑战。

实验解读：这个论断反而更蹙迫：手机智能体的将来不是「把 GUI 点击模子作念得更大」，而是要让 agent 学会礼聘合适的行径面，并让每一递次行齐能被考证。

mixed-action affordance 任务上的行径空间拆解。

不同任务类型下的实验步数，支持剖判恶果各异。

当 AI 手机的确到来，咱们会看到什么新瓶颈？

OpenAI AI Phone 和 Gemini on Android 之是以值得吝啬，不仅仅因为「大厂要作念 AI 手机」。更蹙迫的是，它们共同指向了一个居品范式变化：手机正在从 App-centric device 走向 Agent-centric device。

在 App-centric 时期，用户我方提神拆解雇务：掀开哪个 App、点那里、复制什么、搜什么、阐述什么。

在 Agent-centric 时期，用户抒发筹画，agent 提神移动行径。

AI 手机时期的新瓶颈

PhoneHarness 的切入点恰是在这里：AI 手机时期需要的不仅仅更强的模子，还需要能承载真实实验的 harness，以及能考证实验限度的 benchmark。

PhoneHarness 和 PhoneHarness Bench，到底鼓励了什么？

PhoneHarness 与 PhoneHarness Bench 的单干

这两个产物是相互依赖的。

莫得 harness，benchmark 很难障翳真实夹杂任务。莫得 benchmark，harness 的实验才能也很难被系统性评估。

要是说昔日手机 Agent 的竞争更像「谁更会看屏幕点按钮」，那么 AI 手机时期的确蹙迫的问题会造成：谁能把真实手机 workflow 作念完，谁能留住实在凭证，谁能在安全限度内踏实实验。

PhoneHarness 回话的是「如何让手机 Agent 真的行径」。PhoneHarness Bench 回话的是「如何阐述它真的作念成」。

写在终末

AI 手机不是节略地把大模子塞进系统。它意味入辖下手机从 App-centric device 走向 Agent-centric device：用户抒发筹画，agent 提神礼聘旅途、调用器用、操作 App，并完成可考证的限度。

这背后的基础设施问题，比「模子会不会点屏幕」更复杂，也更要津。

PhoneHarness 和 PhoneHarness Bench 念念鼓励的，恰是这一层基础设施：让手机 Agent 的行径空间更接近真实全国，也让评测更接近真实完成。

一句话归来：AI 手机时期，要津问题不仅仅模子能不成剖判屏幕，而是它能否在真实手机环境里礼聘正确行径面、完成可考证任务，并留住可审计的实验轨迹。

作家信息

共归并作：Jason、Zhengyao Fang、Zhengyang Tang、Pengyuan Lyu。

完满作家：Jason， Zhengyao Fang， Zhengyang Tang， Pengyuan Lyu， Xingran Zhou， Xin Lai， Fei Tang， Liang Wu， Yiduo Guo， Weinong Wang， Junyi Li， Yi Zhang， Yang Ding， Huawen Shen， Sunqi Fan， Shangpin Peng， Zheng Ruan， Anran Zhang， Benyou Wang， Chengquan Zhang， Han Hu.

机构：Tencent Hunyuan; The Chinese University of Hong Kong; The Chinese University of Hong Kong2026美加墨世界杯， Shenzhen; Tsinghua University.