开源序
GitHub 开源项目排行
全部项目
4 个仓库 · 数据更新于 2026-11-07
总 Star
增长榜
新项目
资源类型
: 全部
用途方向
: 全部
商用条件
: 全部
语言
: 全部
更多筛选
1
含不活跃和已归档
清除筛选
筛选项目 · 已设置
批量整理
保存搜索
导出 CSV
具体用途
: 全部
细分类
: 全部
许可证
: 全部
收费方式
: 全部
更新时间
: 全部
标签
: tokenizer (4)
正在加载…
对比
排名
项目
Star
Fork
最近推送
收藏
1
T
theseer /
tokenizer
一个小型库，用于将标记化的 PHP 源代码转换为 XML（以及可能的其他格式）
PHP
许可证未声明
不活跃
名次历史不足
5,191
25
2026-02-03
2
M
marcelroed /
gigatoken
GB/s 的语言模型标记化
Rust
MIT · 宽松，可直接商用
名次历史不足
4,153
224
2026-11-02
3
A
andialbrecht /
sqlparse
Python 的非验证 SQL 解析器模块
Python
BSD-3-Clause · 宽松，可直接商用
名次历史不足
4,023
779
2026-11-01
4
C
Chevrotain /
chevrotain
JavaScript 解析器构建工具包
TypeScript
Apache-2.0 · 宽松，可直接商用
名次历史不足
2,818
222
2026-10-31
