【论文阅读】GLM-5:from Vibe Coding to Agentic Engineering

GLM-5 是智谱与清华推出的新一代基础模型，之前其匿名以Pony Alpha的名字引起了不小的震动，其论文发表在arxiv上：https://arxiv.org/abs/2602.15763。该模型主打从“vibe coding”走向“agentic engineering”，而这也正切合目前Agent大行其道的趋势。故而查看此论文想了解最新模型的Agent能力是如何训练出来的。 其整体训练流程
LLM > 基础知识
#论文阅读 #LLM #GLM-5 #Agent

【Verl源码分析（四）】Verl中使用sandbox进行训练

在强化学习中， 当reward依赖“运行结果”而不是“文本相似度或打分模型”时，就需要sandbox来运行模型rollout的结果进行判别。最典型的场景就是在强化学习场景中加入生成代码的任务，或者是更复杂的有关工具调用的训练场景。 Verl目前已支持将fusin sandbox加入到训练流程中，故本文随着Verl的官方示例来对其一探究竟，其主要是在Eurus-2-RL-Data 数据集上利用Fus
LLM > Verl
#LLM #RL #Verl

【Verl源码分析（三）】Verl中训练引擎与推理引擎共置处理（以FSDP、vLLM为例）

Verl在进行强化学习训练时，既需要使用推理引擎执行推理采样，也需要训练引擎进行模型更新，所以需要使用两类引擎，故这里以FSDP训练引擎和vLLM推理引擎为例对Verl的相关处理进行介绍。 注意查看的是0.4.1.x版本的Verl代码：https://github.com/verl-project/verl/tree/v0.4.1.x 初始化如前所述（https://slipegg.githu
LLM > Verl
#LLM #RL #Verl

基础强化学习学习笔记

基础概念 环境：系统提供的基础环境 状态：环境会被Agent的动作改变，从而变为不同的状态 奖励：环境需要根据当前状态与Agent的动作产生一个奖励来衡量当前动作的好坏 Agent：依据当前环境进行决策，执行相关动作的对象 动作：Agent实际执行的动作，改变环境到下一个状态 决策：依据当前环境可能会产生多个动作，每个动作有不同的概率 动作状态转移概率：
LLM > RL
#LLM #RL

【Nano-vLLM源码分析（一）】环境配置及整体流程概览

环境配置 整体环境还是很干净的，跟着readme应该能很快配置起来。 不过我这里是下载了源代码，然后使用了容器nvcr.io/nvidia/pytorch:25.04-py3来挂载文件夹运行，在容器内还需要pip3 install transformers xxhash，这样就配置好了基本的python环境。 然后还需要下载Qwen3模型，因为Nano-vLLM目前只专门适配了它。这里read
LLM > vLLM
#LLM #vLLM