Student · AI/LLM Engineering Learner

欢迎来到 Hsichen

把学习笔记整理成可以持续公开维护的技术主页。

我在整理 AI、LLM 训练系统和工程实践相关的公开学习笔记。这里先从分布式训练开始，逐步沉淀成可以长期维护的个人主页。

China AI Systems LLM Training
GitHub Email About

分类导航

Research 研究阅读、实验记录和论文方向的公开整理。 0 posts Technical 工程实现、训练系统和技术概念笔记。 6 posts Daily Life 适合公开的生活观察、复盘和长期记录。 0 posts

站点统计

6Total Posts
5.3kEstimated Words
3Categories
Last Updated

最新文章

Featured

· Technical

Megatron-LM 的 ckpt format 探析

从一次 teacher checkpoint 加载报错出发，梳理 Megatron-LM 中 torch legacy 与 torch_dist checkpoint 格式的差异。

megatroncheckpointdistributed-trainingtorch-dist

· Technical

NCCL 是什么：多 GPU 训练的通信基础

理解 All-Reduce、Broadcast、Reduce-Scatter 以及 NCCL 在大模型训练中的作用。

distributed-trainingncclcommunication

· Technical

Megatron-LM、DeepSpeed 和 Accelerate 的区别

比较三个训练工具在抽象层级、侵入程度、目标规模和能力重心上的差异。

megatrondeepspeedaccelerate

· Technical

ZeRO 原理：把模型状态切到多张 GPU 上

用通俗例子理解 ZeRO Stage 1/2/3、参数通信、激活值和重算的关系。

zerodeepspeedactivation-checkpointing

· Technical

分布式训练基础：DP、TP、PP 与 Rank

从数据并行、张量并行、流水线并行和 Rank/Node 概念入门分布式训练。

distributed-trainingparallelismrank