全部项目
27 个仓库 · 数据更新于 2026-11-07
正在加载…
4liguodongiot / llm-action本项目旨在分享大模型相关技术原理以及实战经验(大模型工程化、大模型应用落地)HTMLApache-2.0 · 宽松，可直接商用名次历史不足25,258
5jundot / omlxLLM 推理服务器，具有适用于 Apple Silicon 的连续批处理和 SSD 缓存 - 从 macOS 菜单栏进行管理PythonApache-2.0 · 宽松，可直接商用名次历史不足23,422
6NVIDIA / TensorRT-LLMTensorRT LLM 为用户提供了易于使用的 Python API 来定义大型语言模型 (LLM)，并支持最先进的优化，以便在 NVIDIA GPU 上高效地执行推理。 TensorRT LLM 还包含用于创建 Python 和 C++ 运行时的组件，这些运行时以高性能的方式编排推理执行。Python许可证未声明名次历史不足15,031
7bentoml / OpenLLM在云中运行任何开源 LLM（例如 DeepSeek 和 Llama）作为 OpenAI 兼容 API 端点。PythonApache-2.0 · 宽松，可直接商用名次历史不足12,583
8skypilot-org / skypilot面向前沿团队的人工智能计算平台。 SkyPilot 将分散的人工智能计算转变为一台人工智能超级计算机，因此前沿人工智能团队可以更快地构建定制智能。PythonApache-2.0 · 宽松，可直接商用名次历史不足10,804
9bentoml / BentoML服务 AI 应用程序和模型的最简单方法 - 构建模型推理 API、作业队列、LLM 应用程序、多模型管道等等！PythonApache-2.0 · 宽松，可直接商用名次历史不足8,935
10flyteorg / flyte类型安全、代理的分布式编排、ML 管道以及 k8s 上的实时推理 - 使用带有 async/await 的纯 Python 以及其他语言（rust、go 和 ts）GoApache-2.0 · 宽松，可直接商用名次历史不足7,830
12bojieli / ai-infra-book《深入理解 AI Infra:量化分析与系统设计》(李博杰 著)开源书稿:从硬件约束和模型架构出发,量化推导 LLM 推理与训练系统设计。含全书正文、PDF、配套计算工具与实验PythonApache-2.0 · 宽松，可直接商用名次历史不足7,354
14Michael-A-Kuykendall / shimmy⚡ Pure-Rust WebGPU 推理引擎 - OpenAI-API 兼容，GGUF 原生，可在任何 GPU 上运行。没有Python。没有 llama.cpp。单个二进制。RustApache-2.0 · 宽松，可直接商用名次历史不足6,011
15gpustack / gpustack用于高性能 AI 模型服务（vLLM、SGLang）和按需可通过 SSH 访问的 GPU 实例的 GPU 集群管理器。PythonApache-2.0 · 宽松，可直接商用名次历史不足5,984
17superduper-io / superduperSuperduper：用于构建自定义人工智能应用程序和代理的端到端框架。PythonApache-2.0 · 宽松，可直接商用不活跃名次历史不足5,330
18HuaizhengZhang / AI-Infra-from-Zero-to-Hero🚀 很棒的机器学习系统 ⚡️ AI 系统论文和行业实践。 ⚡️ 机器学习系统、LLM（大型语言模型）、GenAI（生成式人工智能）。 🍻 OSDI、NSDI、SIGCOMM、SoCC、MLSys 等。 🗃️ Llama3、Mistral 等。 🧑💻 视频教程。MIT · 宽松，可直接商用不活跃名次历史不足4,460
20ModelTC / LightLLMLightLLM 是一个基于 Python 的 LLM（大型语言模型）推理和服务框架，以其轻量级设计、易于扩展和高速性能而著称。PythonApache-2.0 · 宽松，可直接商用名次历史不足4,358
