AI圈报
论文研究普通

NVIDIA 与 AI4Bharat 开源 2.8 万亿 token 的 Indic 预训练语料及数据生成管线

信息来源:Hugging Face 社区博客(混合发现)·
原始标题:Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline

内容摘要

NVIDIA 联合 IIT Madras 的 AI4Bharat 发布 Nemotron-pretraining-Indic-v1,约 2.8 万亿 token,覆盖印度宪法列出的 22 种语言,含 2601.0 亿原生文字 token 和 224.6 亿罗马化 token(按 Gemma-4 tokenizer 计)。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Hugging Face 社区博客(混合发现)
站内情报编号intel-4ff7769d78fa225577bd594c