2026-03-31 Daily
🧠 今天记录
🚀 今日TODO
- nixl 整体架构详细梳理并形成文档和@张铭俊 讨论后 输入到内部统一通信库的调研中 ✅ 2026-04-03
- 分析vllm pd 分离 nsys 后初步确定（推理可能可做的方向有二： 一，手搓 last kernel，直接把 deepep 的通信 kernel 写到前一个 kernel 内，从 device 侧直接下机内机间通讯完成 dispatch（可能是 cuda / trition）。二，目前 P 到 D 的 kv cache 流量如果抢了大 ep alltoall 用的双口网卡其中一个网口的流量就会造成 alltoall 性能下降，咱们可做前后串行调度这些 ibv send） ✅ 2026-04-03
- mooncake connector/ engine 源码学习 2/10
🧩 遇到的问题 / 卡点
- ✅ 2026-04-03