vitoplantamura / OnnxStream

用于 ONNX 文件的轻量级推理库，用 C++ 编写。它可以在 RPI Zero 2 上运行 Stable Diffusion XL 1.0（或 298MB 的 RAM），也可以在台式机和服务器上运行 Mistral 7B。支持 ARM、x86、WASM、RISC-V 架构。通过 XNNPACK 实现加速。提供 Python、C# 和 JS(WASM) 绑定。

仓库 Star: 2,088总榜 #25,638
Fork: 99
最近推送: 4 个月前更新
仓库创建: 2023 年创建

应用与完整系统通用C++许可证未声明

查看源码官网

用途与标签

项目原文 · GitHub

Lightweight inference library for ONNX files, written in C++. It can run Stable Diffusion XL 1.0 on a RPI Zero 2 (or in 298MB of RAM) but also Mistral 7B on desktops and servers. ARM, x86, WASM, RISC-V supported. Accelerated by XNNPACK. Python, C# and JS(WASM) bindings available.

用之前确认

没有声明许可证：商用和分发条件无法确认，使用前请联系作者。