论文链接：https://arxiv.org/abs/2609.22978 团队：DeepSeek X 清华大学 背景大模型的RL训练与评估依赖于隔离的、有状态的Sandbox执行环境，在这些环境中agent可以执行代码、调用命令、与外界服务交互等。这类工作负载的特点是创建突发、环境异构、多隔离需求、执行稀疏、有状态且长生命周期、镜像多样但复用有限、agent执行不可信、agent执行可中

论文链接：https://github.com/MoonshotAI/Kimi-K3/blob/main/k3_tech_report.pdf 团队：Kimi 背景Kimi K3 以接近 Fable 5 的性能外加开源强势出圈，所以对其技术报告产生了兴趣，特别来阅读一下。本文更主要的是关注 Agentic RL 训练相关的内容，特别是 sandbox 方面。 摘要 Kimi K3 是一个

最近阅读了知乎上的笔记《Agentic RL 时代的 Infra 重构：以 Forge、ROLL、Seer、Slime 为例》（原文链接），深受启发，所以在此简单记录一下。 概览Agentic RL 系统总的来看是在最大化如下的训练收益： 其中 Throughput（吞吐）受到系统中 Rollout、Training、Data Processing 和 I/O 的影响。 Sam

论文链接：https://arxiv.org/abs/2505.23419v2 Github链接：https://github.com/microsoft/SWE-bench-Live 数据集链接：https://huggingface.co/datasets/SWE-bench-Live/SWE-bench-Live 团队：微软 背景这篇论文是 GLM-5 中提到的他们构建 Soft

背景大语言模型虽然已经具备很强的推理能力，但一旦问题依赖外部知识、最新信息或多跳检索，单靠参数记忆往往不够。常见做法有两类： RAG，先检索再生成，但RAG 的检索往往是一次性的，不能处理多跳检索； 把搜索引擎当作工具，让模型边想边查。目前这类方法主要依赖prompt注入或者通过sft来增强。其问题在于模型通常并没有在训练中真正学会“如何搜索”。 于是作者提出 Search-R1：把搜索引

最近对RL中的sandbox比较感兴趣，而sandbox的编排一般都使用的是k8s，正好也拿来当做复健了。主要看了两个仓库： Agent-sandbox：kubernetes-sigs系列推出的agent-sandbox管理组件，能够轻松管理隔离的、有状态的、单例工作负载，非常适合 AI 代理运行时等用例。 Agentcube：volcano系列推出的基于Agent-sandbox面向code

GLM-5 是智谱与清华推出的新一代基础模型，之前其匿名以Pony Alpha的名字引起了不小的震动，其论文发表在arxiv上：https://arxiv.org/abs/2602.15763。该模型主打从“vibe coding”走向“agentic engineering”，而这也正切合目前Agent大行其道的趋势。故而查看此论文想了解最新模型的Agent能力是如何训练出来的。 其整体训练流程

在强化学习中， 当reward依赖“运行结果”而不是“文本相似度或打分模型”时，就需要sandbox来运行模型rollout的结果进行判别。最典型的场景就是在强化学习场景中加入生成代码的任务，或者是更复杂的有关工具调用的训练场景。 Verl目前已支持将fusin sandbox加入到训练流程中，故本文随着Verl的官方示例来对其一探究竟，其主要是在Eurus-2-RL-Data 数据集上利用Fus

Verl在进行强化学习训练时，既需要使用推理引擎执行推理采样，也需要训练引擎进行模型更新，所以需要使用两类引擎，故这里以FSDP训练引擎和vLLM推理引擎为例对Verl的相关处理进行介绍。 注意查看的是0.4.1.x版本的Verl代码：https://github.com/verl-project/verl/tree/v0.4.1.x 初始化如前所述（https://slipegg.githu

注意查看的是0.4.1.x版本的Verl代码：https://github.com/verl-project/verl/tree/v0.4.1.x 下面给出verl/trainer/ppo/ray_trainer.py中RayPPOTrainer.fit简化后的核心流程代码，也就是Verl中训练的核心流程，下面以此为核心从数据流动的视角进行介绍： 12345678910111213141516