Weblica:面向视觉网页智能体的可扩展可复现训练环境
阅读原文· machinelearning.apple.comApple 的研究把 web agent 训练从零散数据中解放出来,可复现环境是规模化 RL 的关键一步,做 web 自动化的值得关注。
苹果研究团队提出Weblica框架,通过HTTP级缓存保存网页稳定视觉状态并保留交互行为,结合大语言模型基于真实网站与核心导航技能合成环境,构建可复现、可扩展的训练环境。该框架将强化学习训练扩展到数千个多样化的环境和任务。最佳模型Weblica-8B在多个网页导航基准上超越同等规模的开源模型,推理步骤更少,测试时计算扩展性良好,性能与API模型相当。
Weblica:面向视觉Web智能体的可扩展、可复现训练环境
作者:Oğuzhan Fatih Kar,Roman Bachmann,龚远征,Anders Boesen Lindbo Larsen,Afshin Dehghan
查看论文
网络是复杂、开放且不断变化的,这使得为视觉Web智能体扩展训练数据变得极具挑战。现有的数据收集尝试仍局限于用于监督微调的离线轨迹,或少量用于强化学习训练的模拟环境,因此无法捕捉网络的多样性。我们提出Weblica(Web Replica),一种用于构建可复现且可扩展网络环境的框架。我们的框架利用1)HTTP级缓存来捕获和重放稳定的视觉状态,同时保留交互行为;2)基于大语言模型的环境合成,立足于真实网站和核心网络导航技能。利用该框架,我们将强化学习训练扩展到数千种不同的环境和任务。我们最好的模型Weblica-8B在多个网络导航基准测试中,以更少的推理步骤超越了同类规模的开源权重基线模型,在额外的测试时计算下表现出良好的扩展性,并且与API模型相比具有竞争力。
相关阅读与更新。
改写网络:一种计算与数据高效的语言建模方法
2024年8月6日,研究领域:方法与算法、语音与自然语言处理,会议:ACL
大语言模型是通过对海量网络数据进行的抓取进行训练的,这些数据通常是非结构化、嘈杂且措辞不佳的。当前的缩放定律表明,从这类数据中学习需要大量的计算和数据,其规模随着训练的模型大小而增长。由于预训练相关的巨大计算成本和时间,以及网络上高质量数据的日益稀缺,这是不可行的。在这……
改写网络:一种计算与数据高效的语言建模方法
2024年5月7日,研究领域:方法与算法、语音与自然语言处理,ICLR研讨会
This paper has been accepted at the Data Problems for Foundation Models workshop at ICLR 2024.
Large language models are trained on massive scrapes of the web, which are often unstructured, noisy, and poorly phrased. Current scaling laws show that learning from such data requires an abundance of both compute and data, which grows with the size of the model being trained. This is infeasible both because of the large compute costs and duration…

Discover opportunities in Machine Learning.
Our research in machine learning breaks new ground every day.