【论文阅读】ScheMoE:An Extensible Mixture-of-Experts Distributed Training System with Tasks Scheduling

链接：https://dl.acm.org/doi/10.1145/3627703.3650083 发表会议：EuroSys ‘24(CCF-A) 团队：哈工大、香港科技、华为 背景 Moe架构的大模型愈发流行，而Moe流程中存在将数据通过通信转发给对应GPU上专家的行为，如下图是数据并行与专家并行的示例，这种通信行为会导致系统训练效率降低。 现有的优化Moe训练效率的
LLM > 基础知识
#LLM #论文阅读 #MoE

【论文阅读】The Llama 3 Herd of Models（Section 3 Pre-Training）

链接： https://arxiv.org/abs/2407.21783 团队： META 背景 Llama 3发表于2024年7月，其是一个包含8B、70B和405B参数的多语言语言模型群，实验结果显示，Llama 3的旗舰模型在各种任务上的表现与当时领先的语言模型如GPT-4相当，接近最先进水平。并且其还开发了多模态扩展模型，支持图像识别、视频识别和语音理解功能。 Llama 3语言
LLM > 基础知识
#论文阅读 #大模型 #Llama3

【论文阅读】Rail-only:A Low-Cost High-Performance Network for Training LLMs with Trillion Parameters

链接：https://arxiv.org/pdf/2205.05198.pdf 发表会议：HOTI’24(CCF-C) 团队：Meta, MIT 背景训练大模型的大规模集群往往采用全连接的CLOS架构，而将 Clos 网络扩展到数万个 GPU并不容易并且造价高昂。而实际上训练大模型并不需要所有GPU都可以全连接，通过分析大模型训练的网络流量模式可以发现大部分通信都发生在rank相同的GPU对之
LLM > 基础知识
#LLM #论文阅读 #高性能网络

【论文阅读】Reducing Activation Recomputation in Large Transformer Models

链接：: https://arxiv.org/pdf/2205.05198.pdf 发表会议：MLSYS’22(CCF-B) 团队：NVIDIA 背景在论文发表的2022年看来，一些研究在Transformer大模型训练中会采用激活重计算而不是存储的方式来减少激活值所占存储，但是其问题在于会引入很多冗余计算的开销，导致训练效率降低。故本文提出了序列并行和选择性激活重计算方法，
LLM > 基础知识
#LLM #论文阅读