Kubernetes 运算符，用于跨异构 GPU 群进行自托管 LLM 推理：NVIDIA CUDA、AMD Vulkan 和 Apple Silicon Metal。运行时：llama.cpp、vLLM、TGI、mlx-server。多 GPU 分片、模型缓存、OpenAI 兼容端点。 Apache-2.0，跨家庭实验室和本地机群运行，正在积极开发。
