这项由好意思国伊利诺伊大学厄巴纳-香槟分校（UIUC）与微软看管院联开展的看管，于2026年6月发布在预印本平台arXiv上，论文编号为arXiv:2606.02031。有兴味入了解的读者不错通过该编号查询竣工论文。

**场对于"会用浏览器的AI"的竞赛**

每天，环球罕有十亿东说念主开浏览器，在网页上搜索商品、填写表单、比价购物、查阅信息。这些操作对东说念主类来说策动，但对AI来说，却是座难以翻越的山。网页是动态的、芜乱的、充满弹窗和考据码的，况且每隔段时刻就会改版——这对需要"看懂网页、点对地、完成任务"的AI智能体来说，简直是恶梦般的覆按场。

现在利害的网页AI智能体，基本皆掌持在OpenAI、Google这么的科技巨头手中，属于不合外公开覆按细节的"黑箱系统"。开源社区天然也在起劲，但普遍依赖种叫作念"监督学习"的式——也即是先采集普遍东说念主类操作网页的示范摄像，再让AI师法。这种式有个致命短板：摄像拍摄既精湛又费时，况且录制完成的刻起就着手"落伍"，根蒂跟不上互联网日眉月异的变化节拍。

恰是在这么的布景下，UIUC与微软的看管团队决定独辟路子。他们的中枢想路是：与其让AI死记硬背东说念主类的操作示范，不如让AI成功在真实网站上"我方去试"，从得手和失败中学习。这个向被称为"在线强化学习"，对于视觉化的网页智能体来说，它此前简直照旧片空缺地带。

看管团队将这套竣工的覆按框架定名为OpenWebRL，并在此基础上覆按出了个4B参数领域的模子OpenWebRL-4B。这个模子仅凭400条运转示范轨迹和2200个在线覆按任务，就在三个顶网页智能体测评基准上刷新了开源分，部分规画以至越了OpenAI和Google的买卖系统。

**、为什么"我方去试"比"死记硬背"难？**

在精良先容这套法之前，有要先康健为什么让AI在真实网页上"边干边学"是件其繁重的事。

个东说念主学骑自行车，会从跌倒中体验到均衡的紧要，并不才次调理姿势。这个反馈是即时的、明晰的。但让AI在网页上学习完成任务，靠近的反馈环境要复杂得多。网页是活的——今天还能正常深入的按钮，未来可能被移走；今天能跑通的登录经由，未来可能多了说念考据码；某些网站会把相通的自动化操作识别为"机器东说念主"并成功顽固打听。这些皆是"环境噪声"，很容易让AI误合计是我方作念错了，从而学偏。

难的问题在于：网页任务的"得手与否"时时要比及悉数这个词任务完成后才智判断。你法在AI三个按钮的时候告诉它"这步作念得对"，只可在它终回应出"这款鞋的廉价是299元"之后，才智评判悉数这个词过程对不合。这种"过后才知说念成果"的反馈机制，对覆按算法的想象忽视了很的要求。

与此同期，视觉信息的处理代价。每步操作，AI皆要"看"张网页截图——这张截图可能包含数百个元素，消耗普遍规画资源。若是每步历史截图皆保留在AI的"挂牵"中，个30步的任务轨迹以至会出大多数模子的陡立文承载上限。

看管团队在论文中系统地梳理了这些挑战，并为每个挑战想象了具体的处治案，这些案共同组成了OpenWebRL框架的中枢。

**二、搭建个"真实网页覆按场"**

OpenWebRL的块基石鄂州异型材设备厂家 ，是套能在真实网站上康健运行的浏览器环境基础设施。

不错把这套系统康健为给AI搭建了个"沙盒游乐场"——每个覆按任务皆在立的造谣浏览器窗口中运行，互不搅扰，就像每位学员皆有我方属的覆按跑说念，不会因为别东说念主的很是影响我方。这套基础设施基于Playwright和Chromium构建，运行在Kubernetes容器化环境中，复古上百个浏览器实例同期并走运作。

但真实网页的勤奋在于，即便环境搭好了，各式有时随时会发生：某个网站加载太慢、某次蚁合央求时、某页面一刹弹出考据码、某个按钮因为反自动化机制而拒被。看管团队为此想象了完善的"容错机制"——系统会自动差异"是AI作念错了"照旧"是网站出问题了"，并将失败原因详备记载下来，以便后续分析。对于那些反复出现蚁合故障的网站，系统还会自动将其列入黑名单，避覆按资源糜掷在根蒂法打听的地址上。

**三、让AI"看见"我方的每步操作成果**

仅靠截图，AI很难知说念我方的操作是否果然生了。点了个按钮之后，页面可能看起来没什么变化，但履行上可能仍是暗暗航到新页面、大致填写进去的内容根蒂没被汲取。

OpenWebRL处治这个问题的式，是给每次操作皆附上条"翰墨反馈"，十分于给AI配备了个及时助理，在它每次操作后谜语提醒："刚才你点的阿谁按钮得手了，页面跳转到了xxx"，大致"你输入的翰墨和履行汲取的内容不致，防范看"。这条翰墨反馈是通过分析操作前后的网页DOM树（网页结构树）变化来生成的，内容爽朗但信息密度。

这条反馈的紧要在后续实验中得到了明确考据——去掉这个翰墨反馈，AI在多个基准测试上的得手率会下落5到8个百分点。尤其是在需要多步操作的长程任务中，少了这个反馈，AI就像在昏黑中摸索，很容易在个仍是失败的操作上反复纠缠，大致没意志到某个要害法子仍是出错。

**四、给AI的"操作用具箱"和"多任务并行"智商**

OpenWebRL为AI配备了套由13个基础操作用具组成的用具箱，涵盖鼠标（单击、双击、右键）、键盘输入、页面滚动、网址跳转、前进后退、标签页胁制，以及紧要的"完成并敷陈"操作——这是AI告诉系统"任务作念罢了，我的谜底是xxx"的唯式。

敬爱的是，AI每次不需要只调用个用具。看管团队允许AI在次"想考-行为"周期中一语气调用多个用具。比如，AI不错在次输出中同期完成"搜索框、输入要害词、按回车"这三个一语气动作，而不需要资格三次"截图→想考→操作→恭候截图"的竣工轮回。这个想象大大提了覆按率，减少了不要的模子与环境之间的往复交互。

**五、处治"挂牵过载"的贤达妙招**

个30步的网页操作任务，若是把每步的截图皆保留在AI的挂牵中，数据量之大足以撑爆大多数模子的陡立文完毕。看管团队的处治案既爽朗又：只保留近张截图，但竣工保留历史翰墨信息。

真理真理其实很朴素：东说念主在作念复杂任务时，不需要同期盯着之前每步的操作界面，只需要记着之前作念了什么、成果怎样，以及面前屏幕上看到的内容就够了。AI亦然如斯。历史截图被丢弃，但每步的操作记载、环境反馈和AI我方的"想考过程"皆竣工保留，行为翰墨神气的"使命挂牵"。

实验成果标明，只保留近张截图（K=1）与保留近两张比拟，果简直莫得各别，但规画资本却显赫指责——保留两张截图会让覆按时长从约240 GPU小时加多到400 GPU小时。这个发现告诉咱们，在多模态智能体的长程任务中，言语挂牵的价值时时比视觉历史为要害。

**六、"教"先好基础鄂州异型材设备厂家 ，再死亡自学**

OpenWebRL的覆按分为两个阶段，这两个阶段的想象想路，很像东说念主类学习新技巧的经典旅途：先随着素质学基本功，再立上场实战进步。

阶段是"监督微调"，也即是让AI先师法手操作。看管团队使用Qwen3-VL-235B（个领有2350亿参数的大模子，不错康健为行业顶水平的"素质"）来完成批网页任务，筛选出得手的轨迹，然后从中全心挑选412条具代表的轨迹，让4B的小模子来师法学习。

之是以只选412条而不是用几十万条，是有想熟虑的情理的。看管团队发现，若是喂太多示范数据，小模子会把素质的操作作风学得过于呆板，反而在后续的实战覆按中穷乏"可塑"，难以被卓越调理化。就像个从小被逼着文风不动的学生，反而不如阿谁只学了基本原则、但保留了自主探索智商的学生卓越快。

实验中，看管团队对比了四种不同的运裂缝式：不作念监督覆按、极少覆按1轮、适量覆按3轮，以及普遍数据覆按3轮。成果发现，适量的监督预热（412条数据、3轮覆按）带来的后续强化学习果好，而普遍数据预热反而会牵累终进展。这个论断有紧要的实践指道理：运裂缝的主义是"让AI能着手探索"，而不是"把AI调教成个的师法者"。

**七、"在试错中成长"的强化学习核默算法**

二阶段是OpenWebRL确切的中枢：让4B模子在真实网站上我方作念任务，把柄终的得手或失败来新我方的"方案战略"。

这套覆按算法的名字叫作念MM-GRPO（多模态多轮群体相对战略化），但无用被这个名字吓到。它的基本逻辑其实相等直观化。

每次覆按，系统会给AI同个任务，让它立尝试5次（组），塑料管材设备生成5条不同的操作轨迹。有些轨迹得手完成了任务，有些失败了。系统随后规画这5次尝试的平均得手率，然后告诉AI：比平均水平的那些轨迹，应该多去师法；比平均水平低的那些轨迹，应该避习故守常。这种"组内相对比较"的式，让系统不需要个外部的"程序谜底"，只需要我方里面的成败对比就能持续卓越。

有个细节相等值得热心：若是某个任务的5次尝试成果样（比如沿途得手或沿途失败），这组数据会被成功丢弃，不参与覆按新。真理真理很肤浅——沿途得手意味着这个任务太肤浅，AI仍是掌持了；沿途失败意味着这个任务面前太难，暂时法从中学到有信号。只消那些"有时得手、有时失败"的任务，才智提供有价值的学习素材。这十分于为AI自动构建了个难度适中的动态课程。

覆按采纳了"两阶段滚动步长"的战略：先用多15步的短程任务覆按90轮，让模子在较短的任务中拓荒基础探索智商，再切换到多30步的长程任务再覆按50轮，让模子学会应答确切的长程规画挑战。实验标明，这种由短到长的课程式覆按，比着手就成功上30步任务的果要好得多，尤其在WebVoyager这个需要较多法子的基准上，差距达7.4个百分点。

**八、谁来当"评判官"？从精湛到平价的进化**

网页任务完成之后，如何判断AI的谜底是否正确？这是悉数这个词系统中难程序化的环。

些任务不错用章程判断，比如"找到这款手机的廉价钱"，只消查对数字就行。但好多任务的评判需要康健语义，比如"找到评分且离我近的五星牙医"，谜底可能因网页情状不同而有理各别，不是肤浅对比字符串就能判断对错的。

看管团队的默许案是用GPT-4.1行为"评判官"鄂州异型材设备厂家 ，但这会产生显赫的用度：次竣工的覆按实验需要调用约4.32万次GPT-4.1评判API，总用度约545.5好意思元。对于许多学术看管组来说，这是不小的职守。

为了处治这个问题，看管团队门从1.25万条带有GPT-4.1评判标签的真实轨迹数据中，蒸馏覆按出了个8B领域的开源评判模子OpenWebRL-Judge-8B。实考据明，这个评判模子与GPT-4.1的判断吻度达89.8，综F1分数达到92.1，越了WebJudge-7B、Qwen3-VL-32B以至GPT-4o等竞争者。用这个腹地评判模子替换GPT-4.1之后，终模子的能简直莫得亏蚀，平均得手率从68.4仅微降到68.3——简直不错忽略不计。

看管团队还对比了成功用Qwen3-VL-8B（未经门覆按的通用模子）行为评判官的果，成果令东说念主警惕：覆按励分数看起来越来越，但履行测试得手率却在持续下滑——这是典型的"励诓骗"气候，AI学会了如何让评判官舒坦，而不是确切完成任务。这卓越诠释，门覆按的评判模子对于悉数这个词覆按系统的康健至关紧要。

**九、收获单：小模子败大系统**

OpenWebRL的终收获十分亮眼。看管团队在三个顶网页智能体基准上进行了评测。

WebVoyager是个遮蔽15个主流网站的综型基准，共595个任务；Online-Mind2Web则包含136个网站的300个长程任务，难度；DeepShop注于电商购物场景，要求AI在多重持续下完成商品搜索与采纳，共150个任务。

OpenWebRL-4B在这三个基准上分别取得了74.1、67.0和64.0的得手率，平均得手率68.4，成为同等领域开源模子中的水平。横向对比来看，它不仅大幅越了FARA-7B（后者在Online-Mind2Web和DeepShop上分别只消34.1和26.2）、MolmoWeb-8B（35.3和42.3），以至越了领有2350亿参数的Qwen3-VL-235B-A22B。值得热心的是，OpenWebRL-4B在Online-Mind2Web和DeepShop两个基准上还压过了买卖系统OpenAI CUA（58.3和24.7）和GPT-5的SoM版块（57.7和49.1）。

推广到8B参数领域的OpenWebRL-8B进展加郑重，平均得手率达到68.7，与买卖系统Gemini CUA（57.3和62.0）在两个基准上的对比中展现出理会势。

这些收获的得回，仅使用了412条运转示范轨迹和2200个强化学习覆按任务，而竞争敌手如MolmoWeb则使用了过27.85万条数据——进出了整整两个数目。这标明，质料的在线交互覆按所带来的进步，不错弥补运转数据量上的开阔差距。

**十、AI在覆按中到底学会了什么？**

看管团队莫得闲逸于发布收获单，而是卓越分析了覆按过程中AI行为的变化，试图康健强化学习究竟转变了什么。

个敬爱的发现是：随着覆按的进，AI每步的输出如实变长了，但总体任务完成所需的法子数却在减少——平均步数从0轮的14步下落到了80轮的8.9步，悉数这个词轨迹的总长度也相应指责。这诠释AI并不是在地"啰嗦"，而是在少的法子内作念充分的想考。

看管团队对AI的想考内容进行了入分析，界说了四种常见的"想维模式"：历史总结（总结之前作念过什么、去过哪些页面、什么法失败了）、拦阻会诊（发现考据码、页面顽固等遏制）、重试规画（制定新的替代战略）和条款考据（逐核查任务要求是否闲逸）。

覆按前后，这四种模式的出现频率皆有显赫进步：历史总结的出现率从14.5进步到21.4，拦阻会诊从14.2进步到23.7。况且，出现这些想维模式的法子，其反馈长度增长为显赫，从平均332 token加多到542 token（历史总结），从273加多到440（拦阻会诊）；比拟之下，不包含这些模式的平常法子，长度增长相等有限（从282加多到325）。

这诠释AI学会了"有采纳地度想考"：在要害方案节点上过问多剖析资源，而不是均匀地在每步上平摊想考量。这种行为模式与东说念主类的剖析式度吻——碰到卡点时度分析，纯熟操作时快速实施。

**归根结底，这套法转变了什么？**

说到底，OpenWebRL解说了件在AI看管域颇具争议的事：对于网页智能体这类需要在复杂、动态环境中作念长程方案的任务，"让AI在真实天下里边作念边学"不仅是可行的，况且比"堆砌普遍东说念主类示范数据"要得多。

这对平常用户意味着，异日咱们可能会看到多能确切康健网页、完成复杂在线任务的AI助手，而这些AI不再需要依赖科技巨头掌持的海量特罕有据，而是不错通过洞开的框架和有限的运转覆按，在公开的互联网上持续自我进步。

从看管自己的局限来看，有51的失败案例源于网页自己的打听问题——考据码顽固、蚁合连续失败、反自动化机制等——这些皆不是模子智商的问题，而是洞开互联网上AI智能体须面对的基础设施挑战。另外27的失败来自模子在长程多持续任务中的规画和追踪智商不及，13来自视觉定位的精度问题。这些向，也恰是接下来看管起劲的重点方位。

看管团队已晓谕将公开发布覆按数据、模子权重和竣工代码，让学术界和立看管者皆能在此基础上赓续探索。对视觉AI、智能体时候或强化学习感兴味的读者，不错通过arXiv编号2606.02031找到这篇竣工论文，大致打听时势主页openwebrl.github.io获取多资源。

---

Q&A

Q1：OpenWebRL-4B为什么只用400条覆按数据就能败用了27万条数据的模子？

A：这主要归功于在线强化学习的覆按式。OpenWebRL-4B不是靠死记硬背东说念主类示范来学习，而是在真实网站上我方动手作念任务，从得手和失败的成果中总结教导。400条数据仅仅用于"基础"的运转监督覆按，确切让模子突飞大进的是后续2200个任务的在线实战进修。肤浅说，质料的真实交互教导，比数目大的静态示范数据有学习价值。

Q2：OpenWebRL-Judge-8B评判模子和成功用GPT-4.1有什么区别？

A：两者的评判准确率相等接近，但资本各别开阔。用GPT-4.1作评判官，次竣工覆按需要消耗约545好意思元的API用度；而OpenWebRL-Judge-8B是个不错腹地运行的开源模子，覆按完成后不需要稀罕付费。紧要的是，实考据明用GPT-4.1覆按出来的模子和用OpenWebRL-Judge-8B覆按出来的模子，终测评收获简直疏导，平均得手率仅差0.1个百分点。

Q3：OpenWebRL覆按框架为什么要把历史截图丢弃，只保留翰墨记载？

A：因为截图的信息量大，保存悉数历史截图会出模子的处理上限。实验发现，保留近两张截图和只保留张比拟，果简直莫得各别，但规画资本从240 GPU小时加多到400 GPU小时。AI确切需要的"历史挂牵"，其实通过保存每步的翰墨反馈和AI我方的理记载就仍是宽裕，这些翰墨信息比历史截图紧凑、地传递了要害信息。电话：0316--3233399相关词条:罐体保温     塑料挤出设备     钢绞线    超细玻璃棉板    万能胶

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定鄂州异型材设备厂家 ，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。