2026-03-31（周二） Daily
🧠 今天记录
🚀 今日TODO
- nixl 整体架构详细梳理并形成文档和@张铭俊 讨论后 输入到内部统一通信库的调研中 ✅ 2026-04-03
- 分析vllm pd 分离 nsys 后初步确定（推理可能可做的方向有二： 一，手搓 last kernel，直接把 deepep 的通信 kernel 写到前一个 kernel 内，从 device 侧直接下机内机间通讯完成 dispatch（可能是 cuda / trition）。二，目前 P 到 D 的 kv cache 流量如果抢了大 ep alltoall 用的双口网卡其中一个网口的流量就会造成 alltoall 性能下降，咱们可做前后串行调度这些 ibv send） ✅ 2026-04-03
- mooncake connector/ engine 源码学习 2/10
2026-03-30（周一） Daily
🧠 今天记录
🚀 今日TODO
- 确定 mooncake 传 kv cache 的 put 操作从 python 接口
batch_transfer_sync_write传到 c++ 接口batchTransferSync。 ✅ 2026-04-03 - 完成 mooncake/nixl/nccl 三类后端在推理场景下性能的分析，输出文档Vllm PD baseline-qwen3-30B ，并输入到智源整个 flagos 当前推理场景的开发方案，确定了后续 flagcx/vllm-plugin-fl 的开发方案 ✅ 2026-04-03
2026-03-27（周五） Daily
🧠 今天记录
🚀 今日TODO
- [ ]
2026-03-26（周四） Daily
🧠 今天记录
🚀 今日TODO
- [ ]
2026-03-24（周二） Daily
🧠 今日记录
- FP32：4 bytes = 32 bits，BF16：2 bytes = 16 bits，INT8：1 byte = 8 bits，FP4：0.5 byte = 4 bits
🚀 今日TODO
- vllm官方基线是啥 ✅ 2026-03-26 这个咋定
- plugin+flaggem（开或关）+flagcx（开或关）情况。形成对比 ✅ 2026-03-26 。。。。
- 在文档上面给个对比表格和结论，包括测试环境 ✅ 2026-03-26
2026-03-23（周一） Daily
🧠 今天学到了什么
🚀 今日TODO
- vllm官方基线是啥 ✅ 2026-03-26
- plugin+flaggem（开或关）+flagcx（开或关）情况。形成对比 ✅ 2026-03-26
- 在文档上面给个对比表格和结论，包括测试环境 ✅ 2026-03-26
- 看一下 nccl4py的路径上可能存在的 fopen/fcloase 调用 ✅ 2026-03-24
2026-03-21（周六） Daily
🧠 今天学到了什么
🚀 今日TODO
- [ ]
2026-03-20（周五） Daily
🧠 今天学到了什么
- flagcx_wrapper 会去把上层的 cudaStream 转发成 flagcxStream_t
🚀 今日TODO
- 解决 flagcx 侧报错
NCCL_DEV_COMM_REQUIREMENTS_INITIALIZER问题
2026-03-19（周四） Daily
🧠 今天学到了什么
🚀 今日TODO
- vccl alltoallv b300 机内机间数据 + h200 数据，发现机间性能问题，在 H200 上 nsys 看到机间的 proxyPut 一直低于 25GB/s 尝试了在 gin.cc内的ncclGinIbProxyIPutSignal选择 QP 的时候从只选 0 变成选择多个：
原来：
struct ncclIbQp *qp = &comm->base.qps[0];
改后：
int qpIdx = cComm->qpRRCounter++ % comm->base.nqps;
struct ncclIbQp *qp = &comm->base.qps[qpIdx];性能无变化。❌
2026-03-18（周三） Daily
🧠 今天学到了什么
- self.nccl = NCCLLibrary(library_path) 就是 python 侧创建一个NCCLLibrary对象，并把这个对象给 self.nccl
- @dataclass来修饰某个 class，就可以不用写这个类的构造函数
restype/argtypes“贴”到这个可调用对象上，让 ctypes 知道怎么传参/怎么解返回值
🚀 今日TODO
- 梳理完了 nccl 在 vllm 传输 kvcache，从 so 到最后传输的流程。 ✅ 2026-03-18 0. vllm 如何使用 nccl 传输 kv cache