LLM
| 课程 | 简介 |
|---|---|
| CSCI 1390, Spring 2025: Systems for Machine Learning | 主题包括高效训练和推理、理解如何构建硬件 ML 算法、理解 ML 算法性能、GPU 编程和 CUDA、Transformer 架构、高效检索等 |
| CS336: Language Modeling from Scratch (Stanford / Spring 2025) 配套视频 | 手把手从零构建一个完整的语言模型——从 tokenizer、Transformer 到分布式训练、数据处理和 RLHF 对齐，5 个实战 assignment 覆盖 LLM 全链路，代码全部开源 |
| The Smol Training Playbook | 以 SmolLM3 的真实训练过程为主线，覆盖模型目标与规模选择、架构和数据配比、消融实验、分布式预训练、监控排障、评测及后训练。内容串联了完整训练流程，适合作为 LLM 预训练入门指南。 |
性能分析
| 资料 | 简介 |
|---|---|
| Stanford CS336 Assignment 2: Systems | 围绕 Transformer 训练系统实践性能基准测试、分析与优化，并实现分布式训练。整体计算资源要求不高，强烈推荐完整完成。 |
| PyTorch Profiling with NVIDIA Nsight | 详细讲解 Nsight Systems 和 Nsight Compute 的分工、报告采集、CLI 与 UI 分析、NVTX 标记、时间线解读，以及 PyTorch 常见性能瓶颈的诊断与优化。 |
GPU Kernel 编程
| 资料 | 简介 |
|---|---|
| TileLang Puzzles | 通过 10 个渐进式练习入门 TileLang，从基础操作逐步推进到 GEMM 和 FlashAttention。每道练习均可独立运行，并提供参考实现用于对照。 |
Agent
| 课程 | 简介 |
|---|---|
| Learn Claude Code | 从零到一构建一个类 Claude Code 的 AI Agent，12 个渐进式课程，涵盖 Agent Loop、工具调用、子代理、上下文压缩、任务系统、多代理协作、Worktree 隔离等机制 |
| 从零开始理解 Agent | 从一个极简开源项目 nanoAgent 出发，逐层拆解 OpenClaw / Claude Code 等 AI Agent 背后的全部核心概念 |