英伟达联合AI4Bharat发布覆盖22种印度语言的预训练数据集

英伟达与印度理工学院马德拉斯分校（IIT Madras）旗下AI4Bharat实验室联合发布Nemotron-pretraining-Indic-v1数据集，覆盖22种印度语言，包含约2.8万亿token，并随附开放、GPU加速的数据生成流水线，供开发者复用生成自有训练数据。

该数据集基于印度宪法所列的22种语言，对应2011年人口普查中约97%印度人口（近12亿公民）的母语。数据涵盖全部22种语言的原生文字，以及其中12种语言的拉丁转写形式，共形成34种语言-脚本配置。流水线完整记录生成方案，包括提示词、LLM工作流与质量校验，开发者可将其适配至自有语料。

在构建过程中，团队从Nemotron-CC-v2的15个子集选取英文文档，使用NVIDIA开源框架NeMo Data Designer执行翻译、质量评估与定向修复。工作流以Gemma-4-31B-it为翻译与评估模型，并基于MQM多维质量指标进行评分，仅保留不低于75分的输出，修复流程额外回收438.4亿token。每个记录均保留源文档标识，便于追溯验证。

AI4Bharat此前已发布开源预训练语料Sangraha，此次联合发布进一步扩充了社区可用的开源合成印度语训练数据。英伟达表示，该语料已用于Nemotron 3.5 Super VL的持续预训练，相关技术报告将披露更多实验细节。