smg-project / smg

基于 Rust 的、不依赖特定引擎的 LLM 网关。能够完全兼容 OpenAI 和 Anthropic API，适用于 vLLM、TRT-LLM、TokenSpeed、SGLang、OpenAI、Gemini 等平台。采用行业领先的 gRPC 管道技术，具备 KV 缓存感知路由功能、聊天记录管理、令牌化缓存、响应 API、嵌入模型、WASM 插件、MCP 以及多租户认证功能。

仓库 Star: 701总榜 #50,200
Fork: 210
最近推送: 1 天前更新
仓库创建: 2025 年创建

应用与完整系统通用RustApache-2.0 · 宽松，可直接商用

查看源码官网

用途与标签

项目原文 · GitHub

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.