A. 单多硬件队列下多stream的调用限制
背景：
在 training 时，moe 的 ep overlap 时会开 CUDA_DEVICE_MAX_CONNECTIONS=32，如果是 1，a2a会和 attn/mlp 的 overlap 变成串行，但是为什么？？
背景：
在 training 时，moe 的 ep overlap 时会开 CUDA_DEVICE_MAX_CONNECTIONS=32，如果是 1，a2a会和 attn/mlp 的 overlap 变成串行，但是为什么？？