开源序GitHub 开源项目排行

marcelroed / gigatoken

GB/s 的语言模型标记化

仓库 Star: 4,153总榜 #14,774
Fork: 224
最近推送: 4 天前更新
仓库创建: 2025 年创建

模型与模型适配资源语言模型RustMIT · 宽松，可直接商用

用途与标签

AI 与智能体 # llm # nlp # tokenization # tokenizer

Star 走势

原始观测记录 · 2

历史观测
采集时间	仓库 Star	数据来源
2026-11-06 17:08 UTC	4,153	数据来源
2026-11-03 09:39 UTC	4,150	数据来源