用于异构硬件和消费级 GPU 的 LLM 推测性推理服务器。
LLM speculative inference server for heterogeneous hardware & consumer GPUs
