intel / neural-compressor

SOTA 低比特率 LLM 量化技术（INT8/FP8/MXFP8/INT4/MXFP4/NVFP4）与稀疏化技术；在 PyTorch、TensorFlow 和 ONNX Runtime 上的领先模型压缩技术。

仓库 Star: 2,729总榜 #21,794
Fork: 332
最近推送: 1 天前更新
仓库创建: 2020 年创建

应用与完整系统通用PythonApache-2.0 · 宽松，可直接商用

用途与标签

项目原文 · GitHub

SOTA low-bit LLM quantization (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) & sparsity; leading model compression techniques on PyTorch, TensorFlow, and ONNX Runtime