【Verl源码分析（三）】Verl中训练引擎与推理引擎共置处理（以FSDP、vLLM为例）

Verl在进行强化学习训练时，既需要使用推理引擎执行推理采样，也需要训练引擎进行模型更新，所以需要使用两类引擎，故这里以FSDP训练引擎和vLLM推理引擎为例对Verl的相关处理进行介绍。 注意查看的是0.4.1.x版本的Verl代码：https://github.com/verl-project/verl/tree/v0.4.1.x 初始化如前所述（https://slipegg.githu
LLM > Verl
#LLM #RL #Verl

基础强化学习学习笔记

基础概念 环境：系统提供的基础环境 状态：环境会被Agent的动作改变，从而变为不同的状态 奖励：环境需要根据当前状态与Agent的动作产生一个奖励来衡量当前动作的好坏 Agent：依据当前环境进行决策，执行相关动作的对象 动作：Agent实际执行的动作，改变环境到下一个状态 决策：依据当前环境可能会产生多个动作，每个动作有不同的概率 动作状态转移概率：
LLM > RL
#LLM #RL

【Nano-vLLM源码分析（一）】环境配置及整体流程概览

环境配置 整体环境还是很干净的，跟着readme应该能很快配置起来。 不过我这里是下载了源代码，然后使用了容器nvcr.io/nvidia/pytorch:25.04-py3来挂载文件夹运行，在容器内还需要pip3 install transformers xxhash，这样就配置好了基本的python环境。 然后还需要下载Qwen3模型，因为Nano-vLLM目前只专门适配了它。这里read
LLM > vLLM
#LLM #vLLM

【论文阅读】Efficient Memory Management for Large Language Model Serving with PagedAttention（vLLM论文）

论文链接：https://dl.acm.org/doi/abs/10.1145/3600006.3613165 开源链接：https://github.com/vllm-project/vllm 发表会议：SOSP’23(CCF-A) 团队：UC Berkeley 背景 大模型服务化带来了高昂的运行成本，需要进行推理优化提高吞吐、降低成本 LLM推理过程是一个自回归模型，关键的注意力
LLM > vLLM
#论文阅读 #LLM #vLLM