【Nano-vLLM源码分析（一）】环境配置及整体流程概览

环境配置 整体环境还是很干净的，跟着readme应该能很快配置起来。 不过我这里是下载了源代码，然后使用了容器nvcr.io/nvidia/pytorch:25.04-py3来挂载文件夹运行，在容器内还需要pip3 install transformers xxhash，这样就配置好了基本的python环境。 然后还需要下载Qwen3模型，因为Nano-vLLM目前只专门适配了它。这里read
LLM > vLLM
#LLM #vLLM

【论文阅读】Efficient Memory Management for Large Language Model Serving with PagedAttention（vLLM论文）

论文链接：https://dl.acm.org/doi/abs/10.1145/3600006.3613165 开源链接：https://github.com/vllm-project/vllm 发表会议：SOSP’23(CCF-A) 团队：UC Berkeley 背景 大模型服务化带来了高昂的运行成本，需要进行推理优化提高吞吐、降低成本 LLM推理过程是一个自回归模型，关键的注意力
LLM > vLLM
#论文阅读 #LLM #vLLM

【论文阅读】ByteScale:Efficient Scaling of LLM Training with a 2048K Context Length on More Than 12,000

链接：https://arxiv.org/abs/2502.21231 团队：ByteDance 背景 为了提升大语言模型的长上下文能力，长文本的训练是有必要的，经过通过Flash Attention技术可以将Attention相关计算的显存占用降低为O(S)，但是计算量依旧为O(S^2)，这会极大的消耗显存和算力。 为了降低显存开销，传统的方法是使用静态的数据并行叠加上下文并行，即固定
LLM > 基础知识
#论文阅读 #LLM #MoE

【Megatron-LM源码分析（四）】-DDP数据并行

数据并行存在多种，最简单的就是DDP，每个DP都拥有完整的模型，然后在每个batch结束后在DP间同步梯度，最后统一进行优化器更新。再复杂一些的数据宾县会上ZERO技术，将模型、梯度、优化器状态等进行切分。 这里主要关注最简单的DDP，主要关注DP并行组如何划分，如果做个各个DP读取不同的数据，以及训练过程中如何做到梯度同步。 DP并行组查看megatron/core/parallel_state
LLM > Megatron-LM
#LLM #Megatron-LM

【论文阅读】ScheMoE:An Extensible Mixture-of-Experts Distributed Training System with Tasks Scheduling

链接：https://dl.acm.org/doi/10.1145/3627703.3650083 发表会议：EuroSys ‘24(CCF-A) 团队：哈工大、香港科技、华为 背景 Moe架构的大模型愈发流行，而Moe流程中存在将数据通过通信转发给对应GPU上专家的行为，如下图是数据并行与专家并行的示例，这种通信行为会导致系统训练效率降低。 现有的优化Moe训练效率的
LLM > 基础知识
#论文阅读 #LLM #MoE