【论文阅读】ByteScale:Efficient Scaling of LLM Training with a 2048K Context Length on More Than 12,000

链接：https://arxiv.org/abs/2502.21231 团队：ByteDance 背景 为了提升大语言模型的长上下文能力，长文本的训练是有必要的，经过通过Flash Attention技术可以将Attention相关计算的显存占用降低为O(S)，但是计算量依旧为O(S^2)，这会极大的消耗显存和算力。 为了降低显存开销，传统的方法是使用静态的数据并行叠加上下文并行，即固定
LLM > 基础知识
#论文阅读 #LLM #MoE

【Megatron-LM源码分析（四）】-DDP数据并行

数据并行存在多种，最简单的就是DDP，每个DP都拥有完整的模型，然后在每个batch结束后在DP间同步梯度，最后统一进行优化器更新。再复杂一些的数据宾县会上ZERO技术，将模型、梯度、优化器状态等进行切分。 这里主要关注最简单的DDP，主要关注DP并行组如何划分，如果做个各个DP读取不同的数据，以及训练过程中如何做到梯度同步。 DP并行组查看megatron/core/parallel_state
LLM > Megatron-LM
#LLM #Megatron-LM

【论文阅读】ScheMoE:An Extensible Mixture-of-Experts Distributed Training System with Tasks Scheduling

链接：https://dl.acm.org/doi/10.1145/3627703.3650083 发表会议：EuroSys ‘24(CCF-A) 团队：哈工大、香港科技、华为 背景 Moe架构的大模型愈发流行，而Moe流程中存在将数据通过通信转发给对应GPU上专家的行为，如下图是数据并行与专家并行的示例，这种通信行为会导致系统训练效率降低。 现有的优化Moe训练效率的
LLM > 基础知识
#论文阅读 #LLM #MoE

【论文阅读】The Llama 3 Herd of Models（Section 3 Pre-Training）

链接： https://arxiv.org/abs/2407.21783 团队： META 背景 Llama 3发表于2024年7月，其是一个包含8B、70B和405B参数的多语言语言模型群，实验结果显示，Llama 3的旗舰模型在各种任务上的表现与当时领先的语言模型如GPT-4相当，接近最先进水平。并且其还开发了多模态扩展模型，支持图像识别、视频识别和语音理解功能。 Llama 3语言
LLM > 基础知识
#论文阅读 #大模型 #Llama3

【论文阅读】Reducing Activation Recomputation in Large Transformer Models

链接：: https://arxiv.org/pdf/2205.05198.pdf 发表会议：MLSYS’22(CCF-B) 团队：NVIDIA 背景在论文发表的2022年看来，一些研究在Transformer大模型训练中会采用激活重计算而不是存储的方式来减少激活值所占存储，但是其问题在于会引入很多冗余计算的开销，导致训练效率降低。故本文提出了序列并行和选择性激活重计算方法，
LLM > 基础知识
#论文阅读 #LLM