返回榜单

alasdairforsythe / tokenmonster

一种适用于 Python、Go、C++ 和 JavaScript 的贪婪度较低的子词分词器及词汇表训练工具。

仓库 Star
625总榜 #53,839
Fork
23
最近推送
3 个月前更新
仓库创建
2023 年创建
应用与完整系统通用GoMIT · 宽松,可直接商用
查看源码

用途与标签

项目原文 · GitHub
Ungreedy subword tokenizer and vocabulary trainer for Python, Go, C++ & Javascript

Star 走势

62562662611-06 · 62510-0810-1310-1810-2310-2811-0211-06

首次收录 2026-11-06采集时间 2026-11-06 08:25 UTC数据来源许可证原文

介绍根据项目公开资料整理,未经实际测试。 · GitHub 仓库 Star,不是独立使用人数 · 商用三档依据许可证元数据自动分类;具体义务需结合实际使用方式核对。未知不等于禁止商用。