这项由南京大学、商汤科技、南洋理工大学、上海东谈主工智能实验室、香港大学、西安交通大学结伙开展的规划，以预印本款式发布于2026年4月，论文编号为arXiv:2604.15093，有有趣有趣潜入了解的读者可通过该编号在arXiv平台查阅完整原文。

手机屏幕上那些繁琐的操作，有莫得可能交给AI来作念？掀开某个App、找到某个建立、按照你的条款完成一系列门径——这类"手机助手"的想法并不簇新，但信得过能用的系统，曩昔简直是各大科技巨头的专属领地。这篇论文要讲的，就是一群规划者怎样突破这谈壁垒，用开源的方式为往惯例划者和开采者铺平谈路。

规划者们给我方的恶果起名叫"OpenMobile"。这个名字里的"Open"不是噱头，而是一种宣言：他们把老师AI手机助手所需的数据合成圭表、代码和数据集全部公开，让任何东谈主都可以用来老师我方的AI助手。在这之前，行业里最顶尖的AI手机助手——比如Step-GUI、MAI-UI、UI-Venus-1.5、MobileAgent-v3.5——在一个叫作念"AndroidWorld"的标准测试上，生遵守也曾接近70%。这个数字听起来不算惊东谈主，但要知谈，这些任务触及确凿的手机操作，每一步都需要AI信得过"看懂"屏幕、"想明晰"该何如作念。但是，这些顶尖系统背后的老师数据全部守密，外界齐备不知谈它们是何如练出来的。与此同期，依赖公开数据集老师的开源模子，在不异的测试上只可达到30%支配，差距悬殊。

OpenMobile的方针，就是填平这谈规模。

一、手机AI助手究竟在作念什么

在潜入了解OpenMobile的具体作念法之前，有必要先搞明晰这类AI助手到底是何如责任的。

把AI手机助手比作一位新来的实习生豪迈更好会通。你把一部生分的手机交给这位实习生，告诉他"帮我在日期App里创建一个未来上昼十点的会议"。这位实习生需要先看明晰屏幕上的内容（止境于AI"读取"截图），然后判断该点那边（止境于AI决定推行什么操作），一步步完成任务。更重要的是，要是某一步走错了，他还得能意志到出错了，并想办法改良。

这类AI系统在学术上叫作念"视觉言语模子驱动的出动端智能体"，说白了就是：能看懂手机屏幕图像、又能会通东谈主类提醒的AI，在手机上帮你干活。老师这样的AI，需要多半的"脚本"——也就是每个任务对应的操作轨迹：从第一步点了那边，到终末任务完成，每一步都有纪录。有了这些脚本，AI才能通过效法学习，缓缓掌合手怎样操作手机。

问题在于，高质料的脚本很难取得。东谈主工一条一条地标注资本极高，而且东谈主工标注时时存在噪声和乌有。更繁重的是，即便有了脚本，要是脚本里只须"一切奏凯"的情况，AI在现实中遭遇我方犯错的情况时就会昆季无措——它从来没见过出错之后该何如办。

OpenMobile针对这两浩劫题，辞别设想了两个中枢惩办有规划。

二、给AI建一张"App功能舆图"

惩办第一个难题——怎样自动生成多半高质料任务提醒——OpenMobile经受了一种颇具新意的圭表。

现存的主流作念法，时时是让AI在App里立时点来点去，然后证据它走过的这条旅途来编一个任务。这就像一个东谈主在城市里已然走了一条街，然后证据这条街的见闻编一个旅游攻略。问题是，一条街的见闻太局限了，你根蒂不知谈这座城市还有几许旯旮、几许道理的方位。

OpenMobile的作念法齐备不同。规划团队把这个进程拆成了两个阶段。

第一阶段，先让AI在App里庸碌探索，把遭遇的通盘不同页面都纪录下来，就像绘图一张舆图。在这个进程中，AI每走一步，都会把刻下页面的截图和它能到达的相邻页面记下来。由于不同的探索旅途会经过相通的页面，规划者用一种叫"感知哈希"的时刻来识别"这两张截图其实是归拢个页面"，幸免重复纪录。最终，通盘探索旅途被整合成一个扶植的结构，规划者称之为"全局环境牵记"。可以把它会通为一张完整的App功能舆图，标注了每个页面有哪些功能，以及页面之间怎样跳转。

第二阶段，才是生成任务提醒。关于舆图上的每一个页面，规划者不仅给AI看这个页面自己的内容，还荒谬提供两类信息：一是"短期牵记"，也就是这个页面相邻的几个页面（你从这里能径直到那边、从那边能来到这里）；二是"历久牵记"，也就是通盘App里和这个页面功能关联但可能相距很远的其他页面的功能形容。这种"历久牵记"是通过语义相似度检索获取的，访佛于你在藏书楼找书时，系统会推选主题关联的其他书目。

有了这三层信息，一个高大的视觉言语模子就能生成既万般又有证据的复合型任务提醒——不是浅显的"掀开建立"，而是"在音频录制App里，把灌音时势改成WAV、采样率设为48kHz、声谈设为立体声，然后录一段短音频保存"这种复杂提醒。生成的提醒还要经过质料过滤（评分过低的删掉）和去重（语义太相似的只保留最佳的一条），最终得到一批高质料的任务提醒集。

这种把"探索"和"生成"分开的设想，带来了实质性的平正。规划者作念了东谈主工评估：让有涵养的评测者把OpenMobile生成的提醒和两种基线圭表作念对比，解赋闲现OpenMobile的提醒在"难度和复杂性"方面彰着更胜一筹，而"合感性和可推行性"不异莫得着落。在实践老师效果上，用相通数目（1500条）的轨迹数据老师，OpenMobile的圭表让AI在AndroidWorld测试中达到48.3%的生遵守，而另外两种基线圭表辞别只须34.1%和45.3%。

三、教AI怎样从乌有中爬起来

有了任务提醒，接下来就要让AI实践推行这些任务，把推行进程录制成"脚本"，再用来老师AI。这就引出了第二个中枢挑战：怎样相聚既高质料又包含"犯错与纠错"涵养的脚本。

最常见的作念法叫"群众蒸馏"，也就是让一个也曾很历害的AI（群众模子）去推行任务，把它的操作进程录下来，让待老师的AI（学习者模子）去效法。这个圭表的优点是脚骨子量高，过错是脚本里全是"教科书式"的完好操作，学习者从来看不到犯错之后该何如办。到了确凿使用场景中，学习者一朝犯错，就会昆季无措，不知谈怎样改良。

另一种作念法叫"自我进化"，让学习者我方去推行任务，生效的才留住来，然后从头老师，周而复始。这种圭表的平正是学习者见过我方犯错的情况，过错是跳跃相等慢，而且学习者的才略上限就是它我方刻下的水平，很容易堕入瓶颈。

OpenMobile苛刻了一种会通两者优点的"战略切换轮转"圭表。中枢想路是：让学习者去推行任务，但支配有一个"监考淳厚"（由高大的视觉言语模子担任）及时盯着学习者的每一步。一朝监考淳厚发现学习者偏离了正确轨谈——比如通达点错、堕入轮回、齐备莫得向方针团结——就坐窝让群众模子收受，帮学习者改良轨迹，把任务推回正轨。群众介入至少推行三步后，再把限度权还给学习者。

这个进程中，监考淳厚还会把检测到的"偏差分析"申报群众模子，匡助群众更好地会通刻下的失败模式，滚球app官网下载从而给出更有针对性的改良操作。通盘纠错进程在一次任务推行中最多触发两次。

规划者罕见指出，他们测试了多种切换战略：齐备靠群众、齐备靠学习者自我进化、立时切换（两个模子不一致时立时决定用谁）、以及上述的"乌有介入切换"。闭幕清楚，乌有介入切换战略在每条轨迹中平均包含1.56个"乌有与纠错"片断，远高于群众蒸馏的0.42个和自我进化的0.10个。立时切换天然包含了0.64个，但由于切换时机杂乱，脚骨子量杂沓不都，最终老师效果（45.1%）并莫得比群众蒸馏（44.8%）好几许，而乌有介入切换则达到了48.3%。

老师之后，规划者还挑升测试了模子在实践推行中"发现乌有、分析乌有、改良乌有"三个维度的才略。闭幕标明，用OpenMobile数据老师后的模子，在这三个维度上都彰着优于基础模子，尤其是改良乌有的才略升迁最为显赫——升迁幅度达到了66%。

四、数据集长什么样，效果何如样

按照上述两大圭表，规划团队在AndroidWorld提供的安卓模拟器环境上，针对20个安卓App，生成了约2800条任务提醒，对应34000个操作门径。每条推行轨迹平均包含12.2个门径，每步附带平均129个词的"想维链推理"——也就是AI在作念每一步操作之前，先用翰墨阐述我方为什么这样作念。这部分想维链由群众模子从头撰写，以保证质料。

规划者用这批数据辞别微调了两个基础模子：Qwen2.5-VL-7B（70亿参数）和Qwen3-VL-8B（80亿参数）。前者莫得经过挑升针对图形界面的大范围预老师，用来磨砺数据自己的价值；后者自己也曾是更强的基础模子，用来探索性能上限。

在AndroidWorld测试上，Qwen2.5-VL基础版块的生遵守是25.5%，经过OpenMobile数据微调后跃升到51.7%，升迁了突出25个百分点。Qwen3-VL基础版块蓝本也曾有47.6%，微调后达到64.7%，与Step-GUI-8B（67.7%）、MAI-UI-8B（70.7%）等行业顶尖闭源系统比较也曾止境接近。

更能阐述问题的是泛化才略。OpenMobile的数据是在AndroidWorld的环境里相聚的，但规划者还在另外两个齐备不同的测试平台上评估了模子。AndroidLab包含9个App的138个任务，Qwen3-VL版块达到51.5%，而同类开源数据圭表的最佳得益（ScaleCUA）只须30%。MobileWorld是一个更难的测试，挑升检会需要跨越多个App、长达数十步的复杂任务，Qwen2.5-VL版块从7.7%升迁到14.8%，Qwen3-VL版块从9.4%升迁到17.7%，相对升迁幅度突出50%。这阐述OpenMobile的老师圭表让AI取得的不仅仅"背题"，而是信得过的通用操作才略。

规划者还测试了用更大模子（720亿参数的Qwen2.5-VL-72B）微调的效果，AndroidWorld生遵守达到59.3%，进一步考据了"数据质料好、模子越大效果越强"的律例。此外，他们也尝试了强化学习圭表——包括单步奖励的强化学习和完整轨迹级别的强化学习——但发现这些圭表在动态测试环境下的升迁并不阐明，最终阐明未能超越标准的监督微调。规划者合计，这可能与刻下环境的万般性甩掉和强化学习框架的阐明性规划，留待将来规划惩办。

五、这是真本领照旧"背了谜底"

每当一个开源模子在某个测试集上取得好得益，总会有东谈主问：它是果然变强了，照旧仅仅悄悄"背了谜底"？这个疑虑在OpenMobile这里尤其合理，因为老师数据就是在AndroidWorld同款环境里生成的。

规划者对此作念了相等透明的分析。他们用一个专科的语义相似度模子，臆想了每一条合成老师提醒和AndroidWorld测试集里每一条测试提醒之间的相似度，然后和两个公开数据集（AndroidControl和AMEX）作念了对比。闭幕是：OpenMobile的合成提醒确乎比公开数据集更接近测试提醒，这是相宜预期的，毕竟都是在归拢个App环境里生成的。但是，相似度突出0.7的提醒只占全部合成提醒的3.5%，大多数提醒仅仅在功能层面有些相通，而不是字面上的重复或改写。

更有劝服力的是底下这个实验：要是把最相似的那部分老师数据删掉，望望模子得益会何如变化，再对比立时删除同等数目数据的情况。删掉10%最相似的数据，得益仅仅细小着落，阐述性能并不是脆弱地依赖于少数几条"近似题目"。但当删除比例加多到40%以上时，性能运行彰着下滑，况兼比立时删除下滑得更快。规划者对此给出了合会通释：删掉相似提醒，同期也删掉了障翳某些中枢App功能的老师样本，止境于把某项手段的训诫材料全删了，天然会影响阐明。

这引出了规划者对"为什么OpenMobile数据灵验"的中枢阐述：功能障翳率。他们用一个言语模子把每个测试任务明白成所需的原子功能（比如"在日期App里创建举止"明白为"掀开日期"、"创建新事件"、"设定日期"、"设定标题"等），然后统计老师数据中障翳了几许比例的这些原子功能。跟着合成提醒数目加多，功能障翳率稳步高涨，而且OpenMobile永恒高于同等数目的耦合基线圭表。进一步的分析还发现，任务需要的功能越多（任务越复杂），生遵守越低；而老师数据障翳了越多关联功能，生遵守越高。这阐述OpenMobile的老师价值不在于"见过访佛的题目"，而在于"障翳了实足多的操作手段"。

说到底，OpenMobile的孝敬是多档次的。在时刻层面，它提供了一套可以被任何东谈主复现和使用的数据合成框架，把"全局环境牵记"和"战略切换轮转"这两个创新设想系统地结合在一都。在实验层面，它在三个孤苦的动态基准测试上全面考据了圭表的灵验性，况兼对数据混浊风险作念了认真一见的透明分析，这在通盘领域都属于有数的严谨魄力。在社区价值层面，它公开了数据和代码，闪开源社区有了一个可以赓续迭代的坚实起始。

天然，OpenMobile也有它坦承的局限。现在的老师数据只障翳20个App，环境万般性有限。强化学习标的的尝试尚未取得一致性突破，原因可能和模拟器环境的广度不够规划。此外，即等于64.7%这个得益，和最顶尖的73.7%比较仍有差距，阐述数据质料和基础模子才略两者不行偏废，仅凭绽放数据合成还不及以齐备追平顶尖闭源系统。

手机里那位信得过懂你、帮你干活的AI助手，距离往常东谈主的日常活命正在变得越来越近。而让这一切变得愈加公谈、愈加透明的悉力，豪迈恰是通盘领域永恒跳跃的底气所在。

Q&A

Q1：OpenMobile和其他手机AI助手比较，上风在那边？

A：OpenMobile最大的上风在于它是齐备开源的——数据、代码和合成圭表全部公开。以前阐明好的手机AI助手，比如Step-GUI和MAI-UI，老师数据全部守密，外界无法复现或改进。OpenMobile让任何规划者都能用不异的圭表老师我方的模子，同期在AndroidWorld测试上，它老师出的模子生遵守从约30%跃升到64.7%，也曾相等接近顶尖闭源系统，而且在其他两个测试平台上也展示出了可以的泛化才略。

Q2：OpenMobile的老师数据会不会是靠"背谜底"得高分的？

A：规划者对此作念了挑升的考据。他们臆想了老师数据和测试题目之间的语义相似度，发现只须3.5%的老师提醒与测试提醒相似度突出0.7，不存在大范围照搬测试题的情况。而且当把最相似的一小部分老师数据删掉时，模子得益仅仅小幅着落，阐述性能靠的是庸碌的功能障翳而非少数几条近似题目。

Q3：往常用户什么时期能用上OpenMobile老师出来的手机助手？

A：OpenMobile现在是一个规划框架，老师出的模子需要在安卓模拟器或确凿修复上部署滚球app ，还不是一个开箱即用的虚耗级居品。不外由于代码和数据全部公开，开采者社区可以在此基础上赓续开采，将来集成进确凿手机助手欺诈的可能性是存在的。现在距离往常用户径直使用还需要更多工程化责任。

亚搏体育中国官网在线入口