youssofal / MTPLX
作者声明:在 Mac 上运行 Qwen 3.8 Flash Next、Qwen 3.8 27B 和 Ternary Bonsai 2 27B 的最快方式:使用 M5 Max 的 OpenCode 工具,125 Tok/s;对于 27B 模型,则可在 16 GB 的 Mac 上运行。采用 Apple Silicon 的原生 MTP 推测解码技术,无论温度如何都能准确处理。与 OpenAI 和 Anthropic 兼容的本地服务器。
- 仓库 Star
- 2,679总榜 #22,035
- Fork
- 210
- 最近推送
- 7 天前更新
- 仓库创建
- 2026 年创建
用途与标签
The fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.