开源序GitHub 开源项目排行

mlc-ai / tokenizers-cpp

适用于 HF 和 sentencepiece 的通用跨平台分词器

仓库 Star: 513总榜 #60,855
Fork: 131
最近推送: 5 个月前更新
仓库创建: 2023 年创建

应用与完整系统通用C++Apache-2.0 · 宽松，可直接商用

用途与标签

项目原文 · GitHub

Universal cross-platform tokenizers binding to HF and sentencepiece

Star 走势