共计 19 篇文章

---

2025

05-03

【从零构建大模型】三、从零实现一个 GPT 模型以生成文本

05-02

【从零构建大模型】二、编码Attention机制

05-01

【从零构建大模型】一、文本数据处理

04-30

大模型显存占用浅析

04-25

Transformer-KV cache浅析

04-23

Transformer 中Decoder-only、Encoder-only、Decoder-encoder架构区别

04-22

Transformer详解

04-12

大模型训练-优化器整理

2024

08-18

【论文阅读】{MegaScale}:Scaling Large Language Model Training to More Than 10,000 {GPUs}