搭建CUDA开发环境

确保你有一块NVIDIA GPU（架构Turing/Ampere等较新），并安装了合适的NVIDIA驱动、CUDA Toolkit（如12.x）和cuDNN。建议使用Docker（如NVIDIA NGC容器）避免环境冲突。

可通过 `nvidia-smi` 检查驱动和CUDA版本。

克隆项目并熟悉目录结构

克隆LeetCUDA仓库到本地。浏览目录，重点关注 `kernels/`（内核代码）、`docs/`（文档）、`interview/`（面试笔记）和根目录下的示例脚本。

使用 `tree` 或 `ls -R` 命令快速了解结构。

编译并运行第一个简单示例

在项目根目录或子目录中找到一个最简单的示例（如 `vector_add`），尝试编译（`make` 或 `nvcc` 命令）并运行，验证环境正确。

注意Makefile或CMakeLists.txt中的路径和依赖设置。

理解CUDA编程模型

学习GPU架构、线程层次（Thread, Block, Grid）、内存层次（Global, Shared, Register）、内核启动语法（`<<<grid, block>>>`）。结合项目中的 `easy` 难度内核代码（如 `vector_add.cu`, `relu.cu`）进行阅读和实践。

项目README中“Easy ⭐️”部分的内核是最佳学习材料。

学习基本内核优化技巧

在简单内核中实践：1) 线程粗化（Thread Coarsening），2) 合并内存访问（Coalesced Access），3) 使用共享内存减少全局内存访问。

使用 `nvprof` 或 `Nsight Systems/Compute` 工具分析内核性能瓶颈。

阅读并理解一个完整示例

选择一个 `Medium ⭐️⭐️` 难度的内核（如 `layernorm.cu` 或 `rmsnorm.cu`），完整阅读其前向和后向传播代码，理解如何将PyTorch逻辑用CUDA实现。

重点关注数据如何在Host和Device间传输，以及内核的线程映射逻辑。

学习矩阵乘法（GEMM）基础实现

从 `kernels/hgemm/` 目录下找到最朴素的CUDA GEMM实现（如 `naive` 版本），理解三重循环映射到GPU线程的逻辑。然后，逐步学习共享内存分块（Tiling）、寄存器分块等优化。

画图理解矩阵如何被分块，以及线程块如何协作计算一个输出块。

探索高性能HGEMM优化

研究 `hard` 或 `hard+` 难度的HGEMM实现（如使用 `WMMA` 或 `MMA` 指令的版本）。理解Tensor Core的用法、数据预取、双缓冲、多阶段流水线等高级技术。

对照项目README中HGEMM Benchmark表格，理解每一项优化技术（如`Copy Async`, `Multi Stages`）的作用。

理解FlashAttention算法与CUDA实现

首先通过项目链接的博客或论文理解FlashAttention的核心思想（分块计算、Online Softmax）。然后，从 `kernels/flash-attn/` 中找一个简单的 `Split KV` 版本进行代码阅读，理解Q, K, V在内核中的分块计算流程。

FlashAttention的CUDA实现非常复杂，初学阶段目标是理解其宏观的算法映射，而非每个细节。

动手修改和实验

选择一个你已理解的简单内核（如向量加法或矩阵加法），尝试修改其配置（如Block大小、线程粗化因子），并重新编译运行，观察性能变化。

使用PyTorch的输出作为基准，验证你修改后的内核输出是否正确。

学习项目中的调试与验证方法

研究项目中是如何将CUDA内核的结果与PyTorch的结果进行比较的（通常使用 `torch.allclose`）。理解如何为你的内核编写类似的单元测试。

正确性验证是开发CUDA内核的第一步，性能优化是第二步。

阅读Triton和CUTLASS示例

浏览 `Triton` 和 `CUTLASS` 部分的内核代码，了解这些高层编程范式如何简化CUDA内核的编写。比较同一功能（如 `softmax`）在CUDA、Triton下的代码复杂度。

这部分是拓展视野，理解不同抽象层次的GPU编程方法。