基于 Nano-vLLM,这是一种简单版的 vLLM 实现方式,具备自包含的页式注意力机制和闪存注意力功能。
Based on Nano-vLLM, a simple replication of vLLM with self-contained paged attention and flash attention implementation