AI 资讯聚合 · 开源生态

英伟达与 IIT 马德拉斯开源 2.8T token 印度语言预训练语料管线

海外开源生态预训练数据多语言NVIDIA / AI4Bharat · 2026-10-16 · 约1分钟 · 来源:NVIDIA / AI4Bharat 官方博客
英伟达与 IIT 马德拉斯开源 2.8T token 印度语言预训练语料管线

NVIDIA 与 IIT 马德拉斯及其 AI4Bharat 实验室发布 Nemotron-pretraining-Indic-v1:约 2.8 万亿 token,覆盖印度宪法列出的 22 种语言——官方称这些语言是 97% 印度人的母语,按 2011 年普查约 12 亿人。原生文字数据覆盖 22 种语言,另有 12 种语言的罗马化数据。

与语料一同开放的是生成管线:从英文源文档出发,经翻译、质量评估与修复三步产出训练数据,并给出 12 语言与 10 语言两套工作流。质量环节按含义、流畅度、术语、风格、格式五项打分,只保留百分制里 75 分以上的样本;低分样本用评估反馈回修后再按同一阈值复评,官方称这一环节找回 4384 亿 token。

官方同时给出持续预训练后的效果:Nemotron 3.5 Super VL 的印度语言能力有提升,配套报告数据集已放出。管线被描述为 GPU 加速、替换源材料后可复用,官方也单列了适用范围与局限一节。

原文链接:NVIDIA / AI4Bharat 官方博客

核验记录
官方博客(Hugging Face 托管,署名 AI4Bharat 与 NVIDIA 两方)的 JSON-LD datePublished 为 2026-10-16T01:44Z,页内可见 October 16, 2026;配套报告数据集 nvidia/nemotron-indic-pretraining-report 建仓 10-16T01:54Z,同日互证。⚠ 语料本体 nvidia/Nemotron-pretraining-Indic-v1 本轮匿名读仍返回 401(官方文写的是 releasing soon),故文中「开放」指生成管线与报告,语料可下载状态待复核。2.8T token、4384 亿修复量、75 分阈值等数字均为官方自述。配图取官方博客 og:image:两向 200、PNG 1600×1026。