GitHub Star 总榜 · 开源序

1tensorflow / serving灵活、高性能的机器学习模型服务系统C++Apache-2.0 · 宽松，可直接商用6,365

2volcano-sh / volcano云原生批处理系统（CNCF下的项目）GoApache-2.0 · 宽松，可直接商用6,068

3skyzh / tiny-llm为系统工程师学习 Apple Silicon 上的 LLM 推理系统：构建微型 vLLM + QwenPythonApache-2.0 · 宽松，可直接商用5,678

4SeldonIO / seldon-core用于打包、部署、监控和管理数千个生产机器学习模型的 MLOps 框架Go许可证未声明4,785

5ahkarami / Deep-Learning-in-Production在此存储库中，我将分享一些有关在生产中部署基于深度学习的模型的有用注释和参考。许可证未声明4,378

6Lightning-AI / LitServe用于构建自定义 AI 推理服务器的最小 Python 框架，可完全控制逻辑、批处理和扩展。PythonApache-2.0 · 宽松，可直接商用3,987

7PaddlePaddle / FastDeploy基于 PaddlePaddle 的高性能 LLM 和 VLM 推理与部署工具包PythonApache-2.0 · 宽松，可直接商用3,725

8dingodb / dingo多模态向量数据库，支持对结构化和非结构化数据使用统一SQL（兼容MySQL）进行更新插入和向量查询，同时满足高并发和超低延迟的要求。JavaApache-2.0 · 宽松，可直接商用1,706