Lightning-AI / lit-llama

基于nanoGPT的LLaMA语言模型的实现。支持 Flash Attention、Int8 和 GPTQ 4bit 量化、LoRA 和 LLaMA-Adapter 微调、预训练。 Apache 2.0 许可。

仓库 Star

6,083总榜 #9,688

Fork

516

最近推送

1 年前更新

仓库创建

2023 年创建