huggingface / datatrove

通过提供一套与平台无关的可定制管道处理模块，使数据处理不再受脚本设计的限制。

仓库 Star

3,414总榜 #18,190

Fork

328

最近推送

3 天前更新

仓库创建

2023 年创建