共计 20 篇文章

---

2025

12-08

【论文阅读】Reducing Activation Recomputation in Large Transformer Models

12-07

【论文阅读】Megatron-LM论文阅读

07-12

【pytorch-fsdp 源代码阅读（二）】-参数流转

07-02

【pytorch-fsdp 源代码阅读（一）】-全流程概览

06-28

【Picotron-Tutorial】上下文并行

06-24

【Picotron-Tutorial】流水线并行

06-14

【Picotron-Tutorial】数据并行

06-07

【Picotron-Tutorial】Tensor并行

06-01

深度学习中反向传播及优化器使用详解

05-25

Pytorch torch.distributed 及NCCL初探