2. vllm 如何使用 nixl 传输 kv cache

0. 前言

nixl 的架构见0. nixl research，这里主要说 vllm 使用 nixl connector完成 kv cache 传输的过程。