microsoft / LLMLingua

[EMNLP'23, ACL'24] 为了加快LLM的推理速度并增强LLM对关键信息的感知，可以对提示和KV-Cache进行压缩，从而以最小的性能损失实现高达20倍的压缩。

仓库 Star

6,806总榜 #8,503

Fork

451

最近推送

1 个月前更新

仓库创建

2023 年创建