关于我 这个博客用于放一些在线笔记 📚 主要内容 NCCL 架构 - NCCL修改 CUDA 编程 - CUDA指南和一些接口review PyTorch - pytorch侧编译的一些坑 Megatron - LLM训练和优化 PTX - 并行线程执行汇编 Big Feature - 公司/自己的R&D project 🦶足迹