前言 原课程链接：https://stanford-cs336.github.io/spring2025/ 原作业链接：https://github.com/stanford-cs336/assignment5-alignment 自己写的版本在(注意只写了sft和grpo，没有写Expert Iteration for MATH）：https://github.com/slipegg/ass

基础概念 环境：系统提供的基础环境 状态：环境会被Agent的动作改变，从而变为不同的状态 奖励：环境需要根据当前状态与Agent的动作产生一个奖励来衡量当前动作的好坏 Agent：依据当前环境进行决策，执行相关动作的对象 动作：Agent实际执行的动作，改变环境到下一个状态 决策：依据当前环境可能会产生多个动作，每个动作有不同的概率 动作状态转移概率：

Block相关 Block Manger是实现vLLM中提出的PagedAttention的关键，PagedAttention通过对KV Cache实现类似虚拟页表的逻辑Block分区与物理Block分区的划分来实现更灵活的显存管理。 BlockManager 相关代码主要负责 KV cache 的 block 分配/回收，以及 prefix cache（前缀块复用）：把“完整的 bl

环境配置 整体环境还是很干净的，跟着readme应该能很快配置起来。 不过我这里是下载了源代码，然后使用了容器nvcr.io/nvidia/pytorch:25.04-py3来挂载文件夹运行，在容器内还需要pip3 install transformers xxhash，这样就配置好了基本的python环境。 然后还需要下载Qwen3模型，因为Nano-vLLM目前只专门适配了它。这里read

论文链接：https://dl.acm.org/doi/abs/10.1145/3600006.3613165 开源链接：https://github.com/vllm-project/vllm 发表会议：SOSP’23(CCF-A) 团队：UC Berkeley 背景 大模型服务化带来了高昂的运行成本，需要进行推理优化提高吞吐、降低成本 LLM推理过程是一个自回归模型，关键的注意力

理论基础 基础的理论分析可以见之前写的内容：https://slipegg.github.io/2025/06/07/Picotron-Tutorial%20Tensor%20Parallel/，https://slipegg.github.io/2025/12/07/Megatron-LM-paper-note/ 简单来说就是存在行并行与列并行两种Tensor并行方式。 上述的前向传播好理解

链接：https://arxiv.org/abs/2502.21231 团队：ByteDance 背景 为了提升大语言模型的长上下文能力，长文本的训练是有必要的，经过通过Flash Attention技术可以将Attention相关计算的显存占用降低为O(S)，但是计算量依旧为O(S^2)，这会极大的消耗显存和算力。 为了降低显存开销，传统的方法是使用静态的数据并行叠加上下文并行，即固定

数据并行存在多种，最简单的就是DDP，每个DP都拥有完整的模型，然后在每个batch结束后在DP间同步梯度，最后统一进行优化器更新。再复杂一些的数据宾县会上ZERO技术，将模型、梯度、优化器状态等进行切分。 这里主要关注最简单的DDP，主要关注DP并行组如何划分，如果做个各个DP读取不同的数据，以及训练过程中如何做到梯度同步。 DP并行组查看megatron/core/parallel_state

在算力利用率方面，Megatron-LM支持通过Pytorch Profiler和Nsys进行分析，注意这两者在Megatron-LM中是互斥的。 PyTorch Profiler：框架原生工具，更高层，侧重于 Python/PyTorch 算子层级，可以看到代码级的调用链，适合识别 Python 端的慢算子、内存泄漏、调度开销。 Nsys：系统级追踪工具，更底层，侧重于 CUDA

链接：https://dl.acm.org/doi/10.1145/3627703.3650083 发表会议：EuroSys ‘24(CCF-A) 团队：哈工大、香港科技、华为 背景 Moe架构的大模型愈发流行，而Moe流程中存在将数据通过通信转发给对应GPU上专家的行为，如下图是数据并行与专家并行的示例，这种通信行为会导致系统训练效率降低。 现有的优化Moe训练效率的