Google：和agent一样，环境也可以有Harness

文章提出了 Envharness一种全新的组件来控制环境和 agent 的交互方式来帮助环境提供 agent 在各种训练场景下的更好的训练信号。我们花了许多时间给 LLM 配上了 harness来帮助 LLM 成为 agent 更好的完成在复杂环境中的任务那么在环境这一端呢无论是蒸馏强化学习还是自进化我们都需要 agent 来和环境交互但我们并没有办法控制环境如何和 agent 交互。类比于 agent harness文章提出了 Envharness一种全新的组件来控制环境和 agent 的交互方式来帮助环境提供 agent 在各种训练场景下的更好的训练信号。论文标题EnvHarness: Awakening Static Worlds for Agent Learning论文链接https://arxiv.org/abs/2608.19880项目代码https://github.com/google-research/envharness项目主页https://envharness.com/环境 Harness 和 Agent Harness在一般的智能体agent) 的场景下agent 需要在一个环境environment中完成任务这个环境可以是一个网页可以是一个代码库甚至可以是一个房间。在现在的一般设定下agent 的核心是一个不变化的大语言模型我们通过在它周围添加脚手架Harness例如记忆memory技能库skills等来帮助他更好地完成任务。那么作为框架的另一端环境也可以有自己的 harness 来控制这个环境在 agent 与其交互时候的表现。Envharness 和 agent Harness 都没有触及要与外交互最核心的部分大语言模型和环境本身但又都可以只通过和输入输出接口交互来改变核心内容对外输出的方式来达到我们想要的目的而对于环境来说更好的环境就是可以给 agent 的训练提供更好的训练信号。什么是 EnvHarness在规定当中 Envharness 符合一个最简单的接口协议来保证互相之间可以轻松的叠加简单来说我们需要一个环境加上一个 environment harness 之后对外的接口完全不发生任何变化。标准环境遵循三个最标准的接口reset () 用来初始化环境step (a)在环境里执行某个操作obs通过观测了解环境内部的状态而这篇文章提出了三种比较简单的 Envharness 组件环境布置在环境初始化之后执行一系列操作来改变环境的初始状态交互规则把智能体进行的操作和观察映射到一个新的操作或者观察上链接环境在当前环境满足某些条件后自动跳转到另一个环境上由于所有的操作都基于底层环境的标准接口所以 Envharness 可以无损的安装在任何满足条件的环境上而不需要考虑底层环境是网站或是 docker是为了机器人训练或是 gui 训练。如何设计 EnvHarness回到 Envharness 的目的 是为了让环境可以提供更好的训练信号。参考自进化 agent 阅读实际轨迹来优化 harness文章提出了用一个 agent 来观测轨迹来给出 Envharness。整个流程分为简单的四步组成的一个循环首先阅读在原始环境下 agent 的 n 次轨迹基于这些轨迹来辨别 agent 是否存在一些问题或者可以改进的地方之后尝试给出一个最开始的 envharness再加上上文的 envharness 的环境上让 agent 再次尝试生成一批轨迹观察之后如果觉得可以帮助 agent 解决问题就通过 否则带着这些轨迹回到上一步经过这样的循环工程loop engineering我们就可以根据现在 agent 的能力给出对应的 Envharness实验结果文章研究了在强化学习和自进化 agent 的场景下envharness 之后的环境均可以提供更好的训练信号帮助提升 agent 的性能同时在例如具身智能网页导航代码生成等不同 benchmark 的效果也说明了这一方法的泛用性其他实验讨论了例如和 agent 共同进化定向适配长视野问题等方向。核心局限与未来展望文章给出了 Envharness 方向的许多现有缺陷以及未来方向例如就跟 agent harness 包括了各种各样的组件一样envharness 也需要各种各样解决例如 long-horizon领域知识长上下文等特定问题的特定组件有待于未来研究人员的贡献更高效的 Envharness 设计方法现有的方法依赖于多轮的轨迹采样效率较低没有办法实现超级大规模的环境增强研究本文第一作者黄呈松Chengsong Huang是圣路易斯华盛顿大学的博士生Google scholar citation 超过 1500 次目前的研究兴趣主要集中在自进化 agent 和数据合成方向机器之心曾报道过其工作 LorahubR-zero均已超过 github 700 stars