阅读笔记：Agentic RL 时代的 Infra 重构（Forge、ROLL、Seer、Slime）

最近阅读了知乎上的笔记《Agentic RL 时代的 Infra 重构：以 Forge、ROLL、Seer、Slime 为例》（原文链接），深受启发，所以在此简单记录一下。 概览Agentic RL 系统总的来看是在最大化如下的训练收益： 其中 Throughput（吞吐）受到系统中 Rollout、Training、Data Processing 和 I/O 的影响。 Sampl
LLM > 基础知识
#LLM #阅读笔记 #Agentic RL

【论文阅读】Search-R1:Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning

背景大语言模型虽然已经具备很强的推理能力，但一旦问题依赖外部知识、最新信息或多跳检索，单靠参数记忆往往不够。常见做法有两类： RAG，先检索再生成，但RAG 的检索往往是一次性的，不能处理多跳检索； 把搜索引擎当作工具，让模型边想边查。目前这类方法主要依赖prompt注入或者通过sft来增强。其问题在于模型通常并没有在训练中真正学会“如何搜索”。 于是作者提出 Search-R1：把搜索引
LLM > 基础知识
#LLM #论文阅读 #Agent #RLHF

K8s中的Sandbox编排浅析（Agent-sandbox&Agentcube解析）

最近对RL中的sandbox比较感兴趣，而sandbox的编排一般都使用的是k8s，正好也拿来当做复健了。主要看了两个仓库： Agent-sandbox：kubernetes-sigs系列推出的agent-sandbox管理组件，能够轻松管理隔离的、有状态的、单例工作负载，非常适合 AI 代理运行时等用例。 Agentcube：volcano系列推出的基于Agent-sandbox面向code
k8s > sandbox
#LLM #RL #k8s #sandbox

【论文阅读】GLM-5:from Vibe Coding to Agentic Engineering

GLM-5 是智谱与清华推出的新一代基础模型，之前其匿名以Pony Alpha的名字引起了不小的震动，其论文发表在arxiv上：https://arxiv.org/abs/2602.15763。该模型主打从“vibe coding”走向“agentic engineering”，而这也正切合目前Agent大行其道的趋势。故而查看此论文想了解最新模型的Agent能力是如何训练出来的。 其整体训练流程
LLM > 基础知识
#LLM #论文阅读 #GLM-5 #Agent

【Verl源码分析（四）】Verl中使用sandbox进行训练

在强化学习中， 当reward依赖“运行结果”而不是“文本相似度或打分模型”时，就需要sandbox来运行模型rollout的结果进行判别。最典型的场景就是在强化学习场景中加入生成代码的任务，或者是更复杂的有关工具调用的训练场景。 Verl目前已支持将fusin sandbox加入到训练流程中，故本文随着Verl的官方示例来对其一探究竟，其主要是在Eurus-2-RL-Data 数据集上利用Fus
LLM > Verl
#LLM #RL #Verl

【Verl源码分析（三）】Verl中训练引擎与推理引擎共置处理（以FSDP、vLLM为例）

Verl在进行强化学习训练时，既需要使用推理引擎执行推理采样，也需要训练引擎进行模型更新，所以需要使用两类引擎，故这里以FSDP训练引擎和vLLM推理引擎为例对Verl的相关处理进行介绍。 注意查看的是0.4.1.x版本的Verl代码：https://github.com/verl-project/verl/tree/v0.4.1.x 初始化如前所述（https://slipegg.githu
LLM > Verl
#LLM #RL #Verl