2026-03-18 Daily
🧠 今天学到了什么
- self.nccl = NCCLLibrary(library_path) 就是 python 侧创建一个NCCLLibrary对象,并把这个对象给 self.nccl
- @dataclass来修饰某个 class,就可以不用写这个类的构造函数
restype/argtypes“贴”到这个可调用对象上,让 ctypes 知道怎么传参/怎么解返回值
🚀 今日TODO
- 梳理完了 nccl 在 vllm 传输 kvcache,从 so 到最后传输的流程。 ✅ 2026-03-18 0. vllm 如何使用 nccl 传输 kv cache
🧩 遇到的问题 / 卡点
- 无
📌 明天该干啥
- 确定可以用 flag 的东西跑 3.2 的方案,A 方案:只改 flagcx 的 nccl wrapper支持所有 vllm 的 nccl connector 的操作 B 方案:自己手搓一个 flagcx connector
- 追一下vccl b300 alltoallv 跨机,给个结论