项目对比

N

量化、蒸馏、剪枝、神经架构搜索、推测解码等 SOTA 模型优化技术的统一库。它为 TensorRT-LLM、TensorRT、vLLM 等下游部署框架压缩深度学习模型，以优化推理速度。

P

用于流处理、实时分析、LLM 管道和 RAG 的 Python ETL 框架。