kacper-daftcode / vLLM-Moet

Frontier MoE 模型在 RTX PRO 6000 / RTX 5090 上运行：4 台 RTX PRO 6000 作为 GPU+CPU 混合架构，4 台 RTX 5090 作为 GPU+CPU 混合架构，而 vLLM v0.24.0 则使用 2-bit experts 模型。

仓库 Star: 568总榜 #57,099
Fork: 50
最近推送: 1 天前更新
仓库创建: 2026 年创建

应用与完整系统通用SassApache-2.0 · 宽松，可直接商用

查看源码

用途与标签

项目原文 · GitHub

Frontier MoE models on RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash on 4x RTX PRO 6000, as a GPU+CPU hybrid on 4x RTX 5090, and 2-bit experts on vLLM v0.24.0