Hugging Face Blog·· 3 小时前精选AI 评分79
NVIDIA 将发布 2.8 trillion tokens 的 Indic 预训练语料与开放数据生成流水线
Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
AI 导读
NVIDIA 联合 IIT Madras 与 AI4Bharat 宣布将发布 Nemotron-pretraining-Indic-v1，语料规模约为 2.8 trillion tokens，覆盖 22 种印度语言。
推荐理由
文章不仅介绍了 22 种印度语言的预训练语料规模，还公开翻译、质量评估与修复流程，便于团队据此设计可复现的数据生成与训练方案。
来源：Hugging Face Blog · huggingface.co