microsoft / vattention

无需 PagedAttention 的动态内存管理方法，用于提供 LLM 服务。

仓库 Star

526总榜 #59,927

Fork

46

最近推送

2 个月前更新

仓库创建

2024 年创建