项目介绍
The definitive vLLM runtime for dual RTX 2080 Ti 22GB + NVLink, delivering Qwen 27B local inference with maximum 200+ tok/s single-request decode with support of FP8 weight ( Join Discord :https://discord.gg/VFqVVySdMS )AI 根据项目 README 整理，以原文为准
适用于双台式 RTX 2080 Ti 22GB + NVLink 设备的 vLLM 运行环境，可实现 Qwen 27B 模型的本地推理，单次请求解码速度最高可达 200+ tok/s，并支持 FP8 权重格式（加入 Discord：discord.gg/VFqVVySdMS）