在本地运行和管理多种大语言模型。
AI 根据项目 README 整理,以原文为准
安装对应操作系统的应用或Docker镜像,再下载并运行所需模型。
适用场景:适合在本地启动模型并为应用提供模型调用入口。 选型提示:本地模型需要相应内存与算力,云模型的条件不能套用到本地。
部署难度:安装对应操作系统的应用或Docker镜像,再下载并运行所需模型。