Skip to content
religouPublic

About

按照 CS336 从零开始搭建模型

Resources

Stars

1 star

Watchers

0 watching

Forks

Latest commit

 

History

7 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 

Repository files navigation

从零搭建大语言模型并记录整个学习过程

1. 学习计划

  • 分词器
  • PyTorch 与资源分配
  • 语言模型架构与训练细节
  • 混合专家模型
  • GPU 与相关优化
  • GPU 高性能编程
  • 分布式训练
  • Scaling Laws
  • 推理
  • 数据工程
  • 评估与基准测试
  • 大模型训练流程
  • 强化学习
  • 多模态模型
  • 拓展:LLM 推理

2. 参考资料

About

按照 CS336 从零开始搭建模型

Resources

Stars

1 star

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages