GitHub Star 总榜 · 开源序

1SYSTRAN / faster-whisper使用 CTranslate2 加快 Whisper 转录速度PythonMIT · 宽松，可直接商用26,530

2ymcui / Chinese-LLaMA-Alpaca中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署 (Chinese LLaMA & Alpaca LLMs)PythonApache-2.0 · 宽松，可直接商用18,920

3UFund-Me / Qbot[🔥updating ...] AI 自动量化交易机器人(完全本地部署) AI-powered Quantitative Investment Research Platform. 📃 online docs: https://ufund-me.github.io/Qbot ✨ :news: qbot-mini: https://github.com/Charmve/iQuantJupyter NotebookMIT · 宽松，可直接商用18,781

4RyanCodrai / turbovec基于 TurboQuant 构建的向量索引，使用 Rust 编写并结合 Python 绑定RustMIT · 宽松，可直接商用17,470

5FareedKhan-dev / kimi-k3-in-c2.78 万亿参数的 Kimi K3 在 8.24 GB RAM 的单个 CPU 上运行推理。便携式 C99：无 BLAS、无框架、无 GPU。CApache-2.0 · 宽松，可直接商用10,835

6bitsandbytes-foundation / bitsandbytes通过 PyTorch 的 k 位量化可访问大型语言模型。PythonMIT · 宽松，可直接商用8,537

7kornelski / pngquant有损 PNG 压缩器 — 基于 libimagequant 库的 pngquant 命令C许可证未声明5,773

8OpenNMT / CTranslate2Transformer 模型的固定推理引擎C++MIT · 宽松，可直接商用4,734

9thu-ml / SageAttention[ICLR2025、ICML2025、NeurIPS2025 Spotlight] 与 FlashAttention 相比，量化注意力实现了 2-5 倍的加速，并且不会丢失跨语言、图像和视频模型的端到端指标。CudaApache-2.0 · 宽松，可直接商用3,997

10nunchux-ai / nunchaku[ICLR2025 聚焦] SVDQuant：通过 4 位扩散模型的低阶分量吸收异常值PythonApache-2.0 · 宽松，可直接商用3,965

11vllm-project / llm-compressor最先进的 LLM 压缩，专为使用 vLLM 进行生产推理而构建PythonApache-2.0 · 宽松，可直接商用3,950

12amitshekhariitbhu / ai-engineering-interview-questionsAI 工程面试必备资料——问题与答案MarkdownApache-2.0 · 宽松，可直接商用3,616

13huggingface / optimum🚀 使用易于使用的硬件优化工具，加速 🤗 Transformers、Diffusers、TIMM 和 Sentence Transformers 的推理和训练过程。PythonApache-2.0 · 宽松，可直接商用3,519

14google / qkerasQKeras：Tensorflow Keras 的量化深度学习库PythonApache-2.0 · 宽松，可直接商用585