让我们训练一个 Storyteller。

墙裂推荐!Karpathy大模型培训课LLM101n上线了,非常基础

今天外网又被 Andrej Karpathy 这一良心课程刷屏了!

项目是 11 小时前被 Karpathy 上传到 Github 的,目的是要构建一个能够创作、提炼和阐释小故事的大语言模型。如今已经被许多网友转发推荐。

墙裂推荐!Karpathy大模型培训课LLM101n上线了,非常基础

项目地址:https://github.com/karpathy/LLM101n

有网友表示,这是 karpathy 老师的新冒险。它将带您从语言建模、机器学习的基础知识开始学习,然后到多模态、RLHF、模型部署。

墙裂推荐!Karpathy大模型培训课LLM101n上线了,非常基础

也有网友称:看起来 karpathy 正在做一门完整的、类似 cs231n 的课程, 《LLM101n》将讲授如何从头开始构建类似 ChatGPT 的模型,非常雄心勃勃!

墙裂推荐!Karpathy大模型培训课LLM101n上线了,非常基础

以下是该课程的项目简介:

在本课程中,我们将构建一个 Storyteller AI 大型语言模型 (LLM),旨在使用 AI 创建、完善和说明小故事,涵盖从基础到类似于 ChatGPT 的可运行 Web 应用程序,并使用 Python、C 和 CUDA 从头开始构建项目,并且只需要最少的计算机科学前提条件。这门课程将使学生对 AI、LLM 和深度学习有相对深入的了解。

教学大纲如下:

  • 第 01 章 Bigram 语言模型(语言建模)
  • 第 02 章 Micrograd(机器学习、反向传播)
  • 第 03 章 N-gram 模型(多层感知器、matmul、gelu)
  • 第 04 章 Attention(attention、softmax、位置编码器)
  • 第 05 章 Transformer(transformer、residue、layernorm、GPT-2)
  • 第 06 章 Tokenization(minBPE、字节对编码)
  • 第 07 章 优化(初始化、优化、AdamW)
  • 第 08 章 Deepspeed I:设备(设备,CPU,GPU,…)
  • 第 09 章 DS II:精度(混合精度训练,fp16,bf16,fp8,……)
  • 第 10 章 DS III:分布式(分布式优化、DDP、ZeRO)
  • 第 11 章 数据集(数据集、数据加载、合成数据生成)
  • 第 12 章 推理 I:kv-cache(kv-cache)
  • 第 13 章 推理 II:量化(quantization)
  • 第 14 章 微调 I:SFT(监督微调 SFT、PEFT、LoRA、聊天(chat))
  • 第 15 章 微调 II:RL(强化学习,RLHF,PPO,DPO)
  • 第 16 章 部署(API、Web 应用程序)
  • 第 17 章 多模态(VQVAE、扩散 transformer)

那还等什么,学起来吧!

文章来源于“机器之心”

关联网址

关联标签

文章目录

发评论,每天都得现金奖励!超多礼品等你来拿

后,在评论区留言并审核通过后,即可获得现金奖励,奖励规则可见: 查看奖励规则
暂无评论...