基础强化学习学习笔记

基础概念 环境：系统提供的基础环境 状态：环境会被Agent的动作改变，从而变为不同的状态 奖励：环境需要根据当前状态与Agent的动作产生一个奖励来衡量当前动作的好坏 Agent：依据当前环境进行决策，执行相关动作的对象 动作：Agent实际执行的动作，改变环境到下一个状态 决策：依据当前环境可能会产生多个动作，每个动作有不同的概率 动作状态转移概率：
LLM > RL
#LLM #RL

【Nano-vLLM源码分析（一）】环境配置及整体流程概览

环境配置 整体环境还是很干净的，跟着readme应该能很快配置起来。 不过我这里是下载了源代码，然后使用了容器nvcr.io/nvidia/pytorch:25.04-py3来挂载文件夹运行，在容器内还需要pip3 install transformers xxhash，这样就配置好了基本的python环境。 然后还需要下载Qwen3模型，因为Nano-vLLM目前只专门适配了它。这里read
LLM > vLLM
#LLM #vLLM

【论文阅读】Efficient Memory Management for Large Language Model Serving with PagedAttention（vLLM论文）

论文链接：https://dl.acm.org/doi/abs/10.1145/3600006.3613165 开源链接：https://github.com/vllm-project/vllm 发表会议：SOSP’23(CCF-A) 团队：UC Berkeley 背景 大模型服务化带来了高昂的运行成本，需要进行推理优化提高吞吐、降低成本 LLM推理过程是一个自回归模型，关键的注意力
LLM > vLLM
#LLM #论文阅读 #vLLM

【论文阅读】ByteScale:Efficient Scaling of LLM Training with a 2048K Context Length on More Than 12,000

链接：https://arxiv.org/abs/2502.21231 团队：ByteDance 背景 为了提升大语言模型的长上下文能力，长文本的训练是有必要的，经过通过Flash Attention技术可以将Attention相关计算的显存占用降低为O(S)，但是计算量依旧为O(S^2)，这会极大的消耗显存和算力。 为了降低显存开销，传统的方法是使用静态的数据并行叠加上下文并行，即固定
LLM > 基础知识
#LLM #论文阅读 #MoE

【Megatron-LM源码分析（四）】-DDP数据并行

数据并行存在多种，最简单的就是DDP，每个DP都拥有完整的模型，然后在每个batch结束后在DP间同步梯度，最后统一进行优化器更新。再复杂一些的数据宾县会上ZERO技术，将模型、梯度、优化器状态等进行切分。 这里主要关注最简单的DDP，主要关注DP并行组如何划分，如果做个各个DP读取不同的数据，以及训练过程中如何做到梯度同步。 DP并行组查看megatron/core/parallel_state
LLM > Megatron-LM
#LLM #Megatron-LM